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环顾 当今 世界 ， 国 家 的 发 这 ， 民 族 的 振兴 ， 无 一 例外 地 
离 不 开 科学 技术 的 推动 作用 ,年轻 博士 们 历来 是 科技 队伍 中 
最 活跃 、 最 富 创 造 性 的 生力军 。 他 们 的 科研 成 果 是 学 科 发 展 
强 有 力 的 推动 力量 ， 是 体现 一 个 国家 高 层次 教育 水 平和 科研 
水 平 的 窗口 。 为 了 系统 地 反映 年 轻 博士 们 的 科研 成 果 ， 促 使 
他 们 的 快速 成 长 ， 加 强 侦 际 国内 的 学 术 交 流 ,在 老 一 全 科学 
家 的 热心 支持 下 , 科学 出 版 社 决定 出 版 一 套 飞 博士 从 书 》。 

我 们 指导 思想 是 突出 本 从 书 的 学 术 性 、 创 造 性 、 新 颖 
th. 先进 性 和 代表 性 ， 合 之 成 为 所 有 青年 博士 平等 竞争 的 学 
术 舞 台 和 优秀 科研 成 果 的 缩影 

这 套 从 书 以 专著 为 主 , 并 适时 组 织 编写 介绍 学 科 最 新 进 
展 的 综述 性 著作 。 它 将 覆盖 自然 科学 各 个 领域 ,是 一 套 充分 
体现 我 国 青年 学 者 科研 成 果 和 特色 的 丛书。 

点 书 编 委 会 将 在 由 著名 科学 家 组 成 的 专家 委员 会 指导 
下 开展 编辑 工作 。 本 从 书 得 到 了 国家 自然 科学 基金 委员 会 
和 全 国 博士 后 管理 协调 委员 会 的 特别 资助 。 在 此 我 们 深 表 谢 
意 。 


《博士 丛书 》 专 家 委员 会 
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最 优化 是 一 门 应 用 相当 产 泛 的 学 科 ， 它 讨论 决策 问题 的 最 佳 
选择 之 特性 ， 构 遗 寻 求 最 佳 解 的 计算 方法 ， 研 究 这些 计 算 方 法 的 
理论 人 性质 及 实际 计算 表现 ， 伴 随 着 计算 机 的 高 速 发 展 和 优化 计算 
方法 的 进步 ， 规 横越 来 越 大 的 优化 问题 得 到 解决 ， 因 为 最 优化 问 
题 广 泛 见 于 经 济 计 划 、 工 程 设 计 , 生产 管理 、 交 通 运 输 、 国 防 等 重 
要 领域 ， 它 己 受 到 政府 部 门 、 科 研 机 构 和 产业 部门 的 高 度 重 视 ， 

本 书 全 面 , 系统 地 介绍 了 最 优化 理论 和 方法 ， 洋 细 论 述 了 无 约 
东 最 优化 、 约 上 东 最 优化 和 非 光滑 最 优化 的 最 优 性 条 忻 、 求 解 方 法 
以 及 各 类 求解 方法 的 特点 . 作者 在 本 书 拟稿 时 曾 打 算 用 一 章 来 介 
绍 线 性 规划 ， 后 发 现 要 想 仅 用 一 章 系 统 地 介绍 线性 规划 是 远近 不 
iH), MRR MAEM RIE SP A. 感 兴趣 的 读者 可 参阅 Dantzig 
(1963), Chvatal (1983), Walsch (1985). 

本 书 的 特点 之 一 是 内 容 新 ， 它 介绍 了 近 些 年 来 国际 上 关于 最 
忧 化 研究 的 许多 新 的 成 果 . 书 中 的 不 少 内 容 是 作者 在 优化 科研 中 
取得 的 结果 ， 例 如 关于 信赖 域 法 、 非 精确 牛顿 法 、 自 调 比 变 尺度 
法 , 非 二 次 模型 方法 ,和 非 拟 牛 顿 法 以 及 逐步 二 次 规划 方面 的 结果 . 
本 书 的 另 一 个 特点 是 理论 性 强 ， 它 深入 地 探讨 了 许多 算法 的 收 化 
性 ， 第 出 了 大量 的 全 局 收 鳄 性 和 局 部 收 化 性 结果 . 

本 书 可 作为 研究 生 教材 ， 也 可 作为 科研 人 人员 以 及 从 事实 际 应 
用 的 工程 技术 人 员 的 参考 书 . 

本 书 的 一 至 七 章 由 南京 大 学 孙 文 瑜 撰写 ， 作 者 感谢 J. Stoer, 
E. Spedicato, Liqun Qi 和 胡 移 达 等 教授 的 支持 .作者 的 一 些 研 究 
生 对 书稿 提 过 很 好 的 建议 ， 也 在 此 致谢 . 
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Powell A BR| EE., BPP RAR NK MR. PER AREER 
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新 对 部 分 书稿 进行 了 认 丰 的 校对 ， 也 一 并 表示 感谢 . 

北京 航空 航天 大 学 王 日 豆 教 授 对 全 书 手 稿 进行 了 认真 审阅 ， 
并 提出 了 宝贵 的 修改 意见 ， 作 者 谨 向 他 致 以 衷心 的 感谢 . 

本 书 的 出 版 得 到 了 中 国 科学 院 出 版 基金 的 资助 ， 在 此 表示 感 
谢 . 

由 于 水 平 有 限 ， 书 中 难免 有 不 妥 和 错误 之 处 ， 欢 迎 读者 批评 
指正 . 
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最 优化 理论 与 方法 是 一 门 应 用 性 很 强 的 年 轻 学 科 ， 它 研究 某 
些 数 学 上 定义 的 间 题 的 最 优 解 ， 妈 对 于 给 出 的 实际 问题 ， 从 众多 的 
方案 中 选 出 最 优 方 案 . 

虽然 最 优化 可 以 追溯 到 十 分 古 者 的 极 值 问题 ， 然 而 ， 它 成 为 
一 门 独 立 的 学 科 是 在 本 世纪 各 年 代 末 ， 是 在 1947 年 Dantzig $ 
出 求解 一 般 线性 规划 问题 的 单纯 形 法 之 后 . 现在 ， 解 线 性 规划 、 非 
线性 规划 以 及 随机 规划 、 非 光滑 规划 、 多 昌 标 规划 、 几 何 规 划 、 整 
数 规 划 等 各 种 最 优化 问题 的 理论 的 研究 发 展 迅速 ， 新 方法 不 断 出 
现 ， 实 际 应 用 日 益 广泛 . 在 电子 计算 机 的 推动 下 ， 最 优化 理论 与 方 
法 在 经 济 计 划 , 工程 设计 、 生 产 管理 , 交通 运输 等 方面 得 到 了 广泛 
应 用 ， 成 为 一 门 十 分 活跃 的 学 科 . 

最 优化 问题 的 一 般 形式 为 


min f(z) 


s.t.2 EX, (1.1.1) 
其 中 re R 是 决策 变量 ， fle) AB mR, X CR Anke 
或 可 行 域 ， 特 别 地 ， 如 果 约 束 集 X = R”, AB AY a (1.1.1) 称 
为 无 钓 曙 最 忧 化 问题 : 


min f(z). (1.1.2) 


-1 - 


约束 最 优化 问题 通常 写 为 


min f(z) 
s.t. ctw)=0, t€ EB, {1.1.3) 
(x) 20, ied, 


这 里 三 和 了 分 别 是 等 式 约束 的 指标 集 和 不 等 式 约 束 的 指标 集 ， 
ciir) 是 约束 甬 数 . 当 目 标 遂 数 和 约束 函数 均 为 线性 函数 时 ， 问 题 
称 为 线性 规划 ， 当 目标 画 数 和 约束 函数 中 至 少 有 一 个 是 变量 z 的 
非 线 性 函数 时 ， 问 题 称 为 非 线 性 规划 此外， 根据 决策 变量 、 目标 
著 数 和 要 求 的 不 同 ， 最 优化 还 分 成 了 整数 规划 、 动 态 规划 ， 网络 
规划 、 非 光滑 规划 、 随 机 规划 、 几 何 规 划 、 包 且 标 规划 等 若干 分 
支 ， 本 书 主 要 研究 求解 无 约束 最 优化 河 题 (1.1.2} 和 约 东 最 优化 问 
如 (1.1.3) 的 理论 和 方法 ， 其 中 第 三 章 至 第 七 章 研究 无 约 东 量 优化 
问题 , 第 八 章 至 第 十 三 章 研 究 约束 最 优化 问题 ， 第 十 四 章 研 究 非 光 
滑 优 化 问题 - ' 


$12 数学 基础 


本 节 介绍 在 最 优化 理论 与 方法 中 常常 用 到 的 一 些 数 学 基础 知 
1.2.1 R 


EX 1.2.1 BRA |-|: A RAR” EAR. 4A 
仅 当 它 具有 下 烈性 质 : 

(i) jæ] > O, Yr € R”. 

(ii) esl = lalllzll, Yao R, rg R". 

(iii) le + yll < lel + lyll, Va, y € R”. 
此 外， 除了 上 述 三 个 性 质 外 ， 如 果 映 射 还 讲 足 

(iv) llel =O z= 0, 
W || 称 为 R 上 的 范 数 . 


、 


HE t = (T1, 2, ` En) € R, 常用 的 向 量 范 数 为 


lelo = maxjzil， (loo 范 数 ) (1.2.1) 
jeh = sd， (h 范 数 ) 4.22) 
. = 1/2 
lz = (Xa) ， (b 范 数 ) (12.3) 
| #=] 
这 些 都 是 忆 范 数 的 特例 .一 般 地 ;对 于 1 <p < oo, fp 向 量 范 数 定 
XA Ip 
zj = (£r) ， (lp HH). (124) 


类 似 于 向 量 范 数 的 定义 ， 可 以 定义 矩阵 范 数 . 设 4 < Aree, 
KAFSHE ELH 


Azi . S 
JAI = mr lel \ (1.2.5) 


其 中 Jel 是 某 一 向 量 范 数 特别 ， n 诱导 矩阵 范 孝 或 列 和 范 数 : 


lAl = max{|la, illa} = max 5o lass], (1.2.6) 


i=l 


lo 诱导 矩阵 范 数 或 行 和 范 数 : 


Al = malazi} = max) lai (1.2.7) 
i=l ` g 
h RS er IMEEM 
alla = (ur! (1.28) 


这 里 Agr, ER ATA RARER. 0; 表示 A 的 第 了 列 ， ai 
表示 AMBIT. BR, 

1 

-ipp 

z0 |æ 


itih TATERAO RIEA H=} 
22 78 RH EERE RIE A Frobenius 范 数 ， 它 定义 为 
non , 172 
Alls = (32D les P) = [tr (A? A (1.2.9) 


吉 权 Frobenius 范 数 和 加 权 lo 范 数 分 别 定 义 为 

Alar = MAM], Allana = [MAM ls, (1.2.9a) 
其 中 M 是 nxn 对 称 正定 矩阵 . 

RES || .| 满足 

ABI < AL NBL, (1.2.10) 

UREA I 满足 相 容 性 条 件 . 容易 看 出 , 诱导 p 范 数 和 Frobenius 
” 范 数 满足 相 容 性 条 件 ， 并 且 有 
|ABll < min{allzllBlls, | Alah Ba}. (1.2.10a) 


o>, FER RCRA AR. Bae ec R” A EE 
Ae“ POM ARIE EAE, or 的 椭 球 范 数 定义 为 - 


lalla = (a? Ax)". (1.2.11) 


HAE EF RR EE Mt — SPE EU 
A n EZER 
IUA] = [All 


则 称 || .|| 为 直 交 不 变 和 矩阵 范 数 . 显然 ， 谱 范 数 和 Frobenius 范 数 是 
BM ABER. 

关于 范 数 的 等 价 人 性， 我 们 有  “. 

FEM 1.2.2 |, AIl ÆR 上 性 意 两 个 范 数 ， 如 果 
存在 ji, He > 0, 使 得 


milella < delle < allele, we € R”, (1.2.12) 


则 称 范 数 由 le 和 范 数 || Mo 是 等 价 的 . 


特别 ， 我 们 有 
Walla < leh < vrela, (1.2.13) 
izl < lizia < valel © (214) 
lll < leli < ziel, (1.2.15) 
ello < lele < leih, (1.2.16) 
VAlleie < falls < Vilela (1.2.17) 


其 中 入 和 4 分 别 为 4 的 最 小 和 最 大 特征 值 . 
设 {zx} 是 向 量 序列 ， 如 果 


lm ce -2"|]=0, (1.2.18) 


则 称 序列 {zx} 依 范 数 收 化 到 t, fe BRUT By Bl) a. 
在 R" 中 ， 如 果 序 列 {r1} 满足 


lim lem = zll = 9, 


M {z} RA Cauchy FA. AMEK WERA s > 0, 存在 整数 
Ne, 使 得 每 当 m,i > Ne 时 ， 就 有 


em — 好] <E 


成 立 . 在 R” 中 ， 序 列 {zx} We, HA {e} 是 Cauchy F 
列 . 

关于 范 数 的 几 个 重要 不 等 式 是 : 

(1) Cauchy-Schwarz 不 等 式 : 


T 
Je” yl < liell lall, 


HBI e 和 Y 线性 相关 时 ， 等 式 成 立 . 


(2) R A E nxn EZER i 
jeT Ayl < lella lyla 


当 且 仪 当 z My 线性 相关 时 ， 等 式 成 立 ， 
(3) R A È nxn EEE. W 


lz" al < lællallylia: +s 
MARY > 和 Ay 线性 相关 时 ， 等 式 成 立 ， 


(4) Young 不 等 式 : BE p Hl 都 是 大 于 1 的 实数 ， + =i, 
如 果 = 和 4 是 实数 ， 则 


y 
zy & — +, 
P g 


HHEH cP gyt, ERRE. 
证 明令 s= zr,t 一 ys, 由 算术 -几何 不 等 式 ， 
ay = sP g st = ara 到. 
P q P q 


此 外 ， 当 且 仅 当 s=t, Bil x? = y? 时 ， 等 式 成 立 . 口 
(5) Holder 不 等 式 : 


bul < helollvl = (sor) (Some) 


i=1 
其 中 p 和 4 都 大 于 1 上 且 满足 了 +。 一 1 


证 明 着 >=0 或 Y=0 则 不 等 式 显 然 成 立 . Be Ay BA 
为 零 ， 记 


n lp t lio 
lel = (Bler) ,l= (Die) ， 
t=1 ` 


=] 


M Young 不 等 式 ， 有 


leave] o Lle | 1 lal 
(zllpllylle © p helk a Will? 


i=1,---,n. 


上 述 不 等 式 两 边关 于 i RM, 


Th 


De euis ae Dy Eo 


i=] 


fle llpllylig Tle > 


+-=1. 


wm fie 


-1 
Pp 
BARRA olPlivlls, BEAR. D 
(6) Minkowski 不 等 式 : 
le + yll & lelle + lvl, 


即 
lip 


(So + wr)” < (dis?) a + (3 si? 


HP, p21 
这 个 不 等 式 的 证 明 作为 函数 西 性 的 应 用 ， 在 1.3.2 节 中 给 出 . 


1.2.2 ERRER Siz 


定理 1.2.3 (von Neumann 引 理 ) Ee R”, Pe R” 是 
单位 和 矩阵， 省 :站 是 满足 |i] = 1 PUA SE PE HEB 如 果 JE < 1, 
W-D 非 奇异 ， 且 


(I-E) =, (1.2.19a) 
k=0 
IG = BY < Thar (1.2.19b) 


-了 . 


MATAR, AN B- A) <1, 则 恕 非 奇异 ， 且 


B=Y (TT- ATIB) AT, (1.2.20) 
eal 
“lp e (Ao? 
证 明 因为 Eei 页 
S,=F+E+8?4+-.-+H 
oe ead Cauchy 序列 ， Bat ri Wax ek 即 
SE* = lim S$, = (IT— EY, 
no Roto 
从 而 得 到 (1.2.19b). 
由 于 A Shere. 4 一 (一 4 三 站 一 全 一 4 中 < 二 出 
(1.2.19a) 和 (1.2.19b) 立 得 (1.2.20) 和 (1.2.21). g 


这 个 定理 表明 ， 若 BRR PASE A, 则 B 也 可 
道 ， 上 述 定理 也 可 以 写成 下 面 的 形式 : 

定理 1.2.3 . 设 A,B & R”, A 可 逆 ， JATH < a, 如果 
|A- B| < 8,e8< 1, M BW, B 
wl i 

IBH < Tas 
BLAM BR 的 子 空间 ， RY LAM 的 直 和 

RA™ =p M 


当 且 仅 当 
(Br = Lh+M, 
(2) LAM = {0}. 


GR = LoM, 如 果 线 性 算 子 P: R" — R” 满足 


Py=y, Wy eb, 
Pz=0, wzeM, 


WIR PEM R 沿 子 空间 M 到 子 空间 L 上 的 投影 算 子 ， 记 作 
Prin 或 P. 

RM = Le, 则 上 述 投影 算 子 称 为 直 交 投影 算 子 ， 记 作 Pr 
或 P. 

设 Orn 是 所 有 复 m xn 矩阵 组 成 的 集合 ， At Ba A 的 共 
HRE. 

E 4ECmxm fi] A BY Moore-Penrose MWEMA At e 
Crem | EW E 


AATA =A, AtAAt= At, (AAT) =AAt, (AtA)* = ATA. 
(1.2.22) 
等 价 地 ， 它 满足 


其 中 Pra 和 Pran 分 别 是 象 空间 RCA) 和 RIA) 上 的 直 交 投 
影 算 子 . 
WR 4 e CX” 的 直 交 分 解 是 


A=Q RP, (1.2.24) 
AU Q ANP Ham x m Fil nx n RIER, Re oan, 
O [Ru 0 
n= | Mo 
其 中 Ro Ær xr EARLIER, FE, 
At = P RHQ, (1.2.25) 


其 中 a 9 
At 一 | 中 o . 
类 伏地 ， 如 果 A eOr” 的 奇异 什 分 解 是 


A=UDV*, (1.2.26) 


Heh U AV 435 mxm ln xn HJER, 


—~ x 0 IL E FA 
Delo o| sc ; 


Rep, E= diag (01, or 0; > 0 2A BIRI M 


At =VDtU", (1.2.27) 
oa fo 0 

十 

D=., 0 j 


1.2.3 ”矩阵 的 Rayleigh 商 


$M 12.4 @Adinxn Hermite BRE, we Cc", 则 称 


| A 
Ritu) =", uw Ao (1.2.28) 
u 型 


为 Hermite SARE A 的 Rayleigh Ñ. 
定理 1.2.5 2 A E nxn Hermite HM, u e C”, Ml (1.2.28) 
定义 的 Rayleigh MAA TORAH: 


(1) 齐 次 性 
Ry (ou) = 下 fi e x ü. (1.2.29) 
(2) 极 性 
ut Au 
A. = max uAu = max ， {1.2.30} 
{lla=1 uz u“u 


u* Au 


An = min u“Au = min 一 一 一 . (1.2.31) 
ellz =1 ued uu _ 
这 表明 Rayleigh 商 具有 有 界 性 
An < Ralu) < Ad. (1.2.32) 


(3) 极 小 残 量 性 质 : 对 任意 u €C”, 
(A ~ Balu) Dull < A — pd )ull, YER (4.2.33) 


ERR ”性质 (1) 从 定义 1.24 OH. 
由 于 性 质 (1), BRA EAE BB BRIG lel = 1 上 讨论 Rayleigh 
商 ， 即 . 


Ralu) = u" Au, lela = 1. 


设 酉 矩阵 工 将 A (CART ARR, TAT = A, KIE u= Ty, Wi 


2 
n > An 3 PA ’ 

u* Au = y"Ay = Ñ Aly]? m 
= gs Ar SO ysl? 

i=l 


注意 到 flule = jlyllz = 1, 因而 有 界 性 得 到 ， 并 且 当 y = 1, g = 0, 
TAT, RA AL KB: Syn = boyy = 0,7 An 时 ， 极 小 值 xn 
过 到， 从 而 性 质 (2) 成 立 . 

为 了 证 明 性 质 (3), 我 们 定义 


siu) = Au — Rw)u, ux 0, (1.2.34) 
于 是 
Au = Ry (uju + s(u}. l (1.2.35) 


由 于 (s(u),u) = (Au — Rya(uju,u) = 0, WAR A 的 分 解 (1.2.35) 是 
直 交 分 解 ， 从 而 Ra(uju 是 Au Æ L= {u} 上 的 直 交 投影 ， 从 而 
(1.2.34) 定义 的 残 量具 有 极 小 性 质 (3). 


12.4 秩 一 校正 


矩阵 的 秩 一 校正 在 最 优化 中 绎 常用 到 ， 这 里 给 出 秩 一 校正 的 
道 , 秩 一 校正 的 行列 式 , 秩 一 校正 后 特征 值 的 联 锁 定理 以 及 和 矩阵 分 
解 的 秩 一 校正 ， 关 于 详细 的 证 明 读 者 可 以 谷 见 一 些 标准 线性 代数 
教材 . 

逆 的 秩 一 校正 的 著名 定理 是 Sherman-Morrison 定理 . 

定理 1.2.6 (Sherman-Morrison W) 设 4eRnxn 是 非 奇 
SR, uve R 是 任 意向 量 ， 若 

1+viA-iy £0 0.2.96) 
则 A 的 秩 一 校正 Atuo 非 奇异 ， 且 其 道 短 阵 可 以 表示 为 
A` uvT AT? 


A+twue™) = AT! . 1.2.37 
( ) l+uPA-lu ( ) 


上 述 定 理 的 推广 为 : 

定理 1.2.7 (Sherman-Morrison-Woodburg ER) PAB nx 
n 非 奇 异 矩阵 ， U,V Bon xm HERE, HIE VAD AEB, 
A+UW* aji, H 


(A+ UV*Y! = A- .A- U(E + VATU) I V*A (1.2.38) 
关于 铁 一 校正 的 行列 式 ， 我 们 显然 有 


det (I + uv?) = 1+ uv, (1.2.39) 


Bb. WERE u #0, 注意 到 了 十 uv” 的 特征 向 量 或 者 直 交 于 
0, 或 者 平行 于 u WEEET o, 刚 特征 值 为 1; SURAT ou, M 
PGE (AA TI+wzv, 从 而 结果 (1.2.39) 得 到 . 

进一步 ， 对 于 秩 二 校正 ， 有 


det (I + urug + uguq) 
= (14 uf ua) (1+ up ua) — (uP us) (ud ug). (1.2.40) 


. 12. 


事实 上 ， 上 只 要 注意 到 


rye r sp 一 工 q 
T+ujut +u = (1 十 az] id + (i+ wud Ugly: 


det {I + wua + ugg } 
一 1 


一 (1 + mT ug) [1 + ul (I + wuz) uz] 


= {1+ uju) |t +u {E — wuz ug 
1 + ul ug 


= (1+ u] ua) (1 + ug ua) ~ (uta) (uz us). 


注意 到 || A = tr(A7 A), 页 秩 一 校正 矩阵 A+ ey? 的 Frobe- 
nius 范 数 为 


|A + zy [> = Allp + 2y7 A? + zl yl (1.2.41) 
RH Pe RX", 
T 
— (1.2.42) 
lll lli 


显然 ， 忆 有 nn 一 1 个 特征 值 为 1. 利用 (1.2.40), 考虑 PTP 的 最 大 

特征 值 ， 可 知 

lPi = -2 (1.2.43) 
Ne eiia 2 


X F AE EHE PERF GE a YF: 

定理 1.2.8 ( 联 锁 特 征 值 定理 ] RAB nxn WE, H 
特征 值 为 Ar > An Bs B An, RB A= Atout, 其 特征 慎 为 
Ay 2B Ag B+ BAL. 那么 o 

(t) Æ o > 0, 则 l 


My 2 M 2 Aa 2 Ag Be 2 Ån 2 Àn- 


Y 


(2) #o <D, 则 
Ar 2A) B Ag F A Soo Ban Ano 


+ 13 - 


十 面 我 们 计 论 矩阵 分 解 的 秩 一 校正 ， 首先 讨论 Cholesky 分 解 
的 秩 一 校正 ， 
BBHBEnxn HAEE, 
B= Btoyy’, B= LDL’. (1.2.44) 
我 们 可 用 下 述 校正 方法 求 互 的 Cholesky 44 B= EDI". 


B= B+ ayy? 
= LD + app), (1.2.45) 


其 中 pb 是 Lp = y 的 解 . 注意 到 Dapp 是 正定 矩阵 ， 其 Cholesky 
分 解 为 
D+ app’ = LDLT, 
于 是 
B=LEDITLT =LDL, (1.2.46) 

其 中 ， 工 = 7 万 = 万 . 工 和 万 可 以 利用 下 述 递 推 关系 得 到 ， 

算法 1.2.9 (Cholesky 分 解 的 秩 一 校正 算法 ) 

L EM a =a, wD oy 

2. 对 于 了 一 1 2 计算 

(7) 


Pi = wy 3 
di = d; + azpi, 
Bi; = pj/ dy, 


Qj+1 = dja; /d;, 


wt) = wf! — pileg . 
_ ragttl,---yn. 
dng = beg + yw Bd . ， 


对 于 负 校 正 的 情形 , 在 计算 校正 因子 时 为 了 防止 失去 正定 性 ， 
我 们 必须 小 心 ， 困 为 舍 入 误差 可 能 引起 D 的 元 素 为 零 或 为 负 . 为 
此 ， 我 们 再 给 出 针对 负 校 正 情形 的 递 推算 法 ， 


.14 ， 


算法 1.2.10 (MRE Cholesky 分 解 的 秩 一 校正 算法 ) 


= LEDETLT = EDEL (1.2.47) 


1. RFA Lp = y HEM toy. = lop Dp, WMR tayi < em, 
A tear = 5M, 这 里 zm 是 相对 机 器 精度 . 
2. 对 于 7 了 =n,n 一 1,-'',1, 计算 


ty = tjp +P} /dj, 

dy = djtj+i/tj; 

B; = —pj/(dyty41), 
wl? =p, 

Eng = bey + Bad +, 


wy) = wot) + pily, 


| 7 一 了 十 1， ，, 刀 。 


对 于 上 述 算法 , 可 以 证 明 : 不 管 计 算 中 产生 的 舍 信 误差 如 何 ， 
dai j=l, on 都 将 保证 是 正 的 . 

进一步 ， 如 果 求 秩 二 校正 的 Cholesky AF, BATA ELA AAT 
面 氢 述 的 关于 秩 一 校正 的 算法 1.2.9 和 1.2.10. 考虑 


B=B+ vw + uv", | (1.2.48) 
令 
e=(tw//Vv2, y=(v—w)/Vv2, (1.2.49) 
E ， 
B=B- rr ~ yy’, {1.2.50} 


从 而 可 以 利用 算法 1.2.9 和 1.2.10. 
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邻 考 虚 秩 二 校正 的 特殊 情形 . & B 是 n xn 对 称 正 定 矩阵 ， 
B= LDIF, 考虑 增加 一 行 一 列 : 


一 B b | ， 
B= E A ， (4.2.51) 
其 中 8 是 维 向 量 ，8 ER ER 
= B al ， 
B= É 9 12.52) 
则 
T 
B= ËH eni (3 + (o) elis (1.2.53) 


TÆ B fh Cholesky 因子 了 上 和 五 可 以 利用 上 面 所 述 的 算法 计算 . 
此 外 ， 我 们 可 以 证 明 工 和 号 具有 如 下 形式 


z=] ° D= po (1.2.54 
TF al’ |oa (2.2.54) 
在 等 式 
L o)[Dp oli? I Bob 
= (1.2.55) 
it af Hii i bT i 
中 ， 令 对 应 部 分 相等 ， 得 
LDIi=b, 
门 .2. 
-d=@—-I" Di, (1.2.56) 
求 出 1 和 d, MBE L MD. 
考虑 删 去 第 j 行 第 了 列 ， 设 
x 
Bi x Ba 
x 
B=|xxxxxxx e #5. (1.2.57) 
x 
BT x Bs 
x 


定义 


可 以 证 明 
B= LDEY, 


其 中 荆 BM L PAS j 行 得 到 的 (n 一 1) xn 矩阵. 


现在 ， 我 们 考虑 直 交 分 解 的 秩 一 校正 . 
i AA © RX" uve R”, 


A=QR, As Atu, 


于 是 ， 
A=QR+uv? = O(R+ we") 


其 中 四 一 全 H Riwel 和 作 OR 分 解 ， 得 


R+ wut 一 OR, 


于 是 


Hh, G=QQ,R=R. 


(1.2.58) 


(1.2.59) 


(1.2.60) 


(1.2.61) 


(1.2.62) 


SRE. WR m x n FEE Almen) 的 直 父 分 解 形式 为 


A=[L 0]Q, 


其 中 工 是 单位 下 三 角 阵 ， QTQ = 了 RINE 
A= 过 十 xy? 
的 LQ 分 解 因子 . 


AzAtay? 
=[L 0])Q+ay" 


(1.2.63) 


(1.2.64) 


a7: 


=([L O}+2w7)Q (HF w = Qy) 
=((L O)+ew)PTPQ (其 中 下 已 = 月 
=({H 0j+azef)PQ (其 中 Pw = ae 
H 0]PQ 
-|H 0]BP PQ {其 中 
L 
L 


0] (E Q =P PQ). (1.2.68) 


1.2.5 ARARA 


ERAM S: R o REKATE ce Rr 连续 可 微 ,如果 ( 
FAR, talon. 了 在 处 的 梯度 定义 为 


Vic) 


a 17 
Viis) = Bi) Fg] . 


WR PEAR DCR 中 的 每 一 点 连续 可 微 ， 则 称 了 在 也 中 连续 
可 徽 ， 记 作 FE CD). 

ye fF: ROR RAL z: TRB, mÆ 
Ana lr) FEAR. 1&ij&n. J Æ x Bh) Hesse HEY 


= 起 
Anxn Se, HB ij ew 
2 o # f(x) ， 
[Vi fæ = Berry, SLIEN. 


如 果 FERED cR pH AC CREM, WPA D A 
ZR ES E fE CHD). 

E SiR” =- RERED 上 连续 可 微 ， 对 于 ze R”, deR”, 
JTE r ARTH d 的 方向 导数 定义 为 
z) = lim Hetta) fe) 


lim (1.2.66) 


As] tare -上 


fee TE et TE, 


wir 


上 述 定义 的 方向 导数 等 于 Vf) d A VS (a) 表示 了 在 了 的 榜 
度 ， 它 是 了 的 导数 o 的 转 置 ， 是 nx1 ag. 

Ma ee tdecD Kaye D AS: RP oREALRD 
上 连续 可 微 ， 则 有 


上 
f+ e) = F(x) + f Vi (a + td)” ddt 
0 


ata 
= f(z} + f V FEE, (1.2.67) 
因而 也 有 
Jiz +d) = fiz) t VE d, Ce (z,2+ 4) (1.2.68a) 
或 


Fly) = f(r) + Vf (a+ ty ar) y-a) tela, L), (1.2.68b} 
i 
f(y) = fla) +V fle) (y — 2) + olly ~ all). (1.2.68c) 


wf: R + REAR D 上 二 次 连续 可 微 ， 对 于 re R”, 
dE R”, 了 在 x RPH d 的 二 阶 方向 导数 定义 为 


(1.2.69) 


圭 述 定义 的 二 阶 方 向 导数 等 于 dTV fed 其 中 V 表示 了 在 
z 的 Hesse 奸 阵 .对 于 任何 xz,z 十 dE D, 存在 上 etzz 二 四) 使 得 


flew +d) = f(x) +V fld sat V? (ed, (1.2.70) 
或 
Fiet d = fe)i+ Vfl) d+ TROT + of{||dl]?). (1.2.71) 
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外 此 ， 我 们 也 有 
Fa) — F(z) < 性 一 ?| EP, Ft. 
Ete. (1.2.72) 
f(y) ~ f(a) — f py 


<ly = ail gep MEE = o)l (1.2.73) 


其 中 Ley) 表示 Ay DERRE, >rt- rhOstsi. 
设 h: R -+ R, g: R” — R, f: Re c R", Hf e CHD), 
g € C'{D), hizo) = gl f(r), 则 链 式 法 则 为 


h'{zo) = gf lao) lf’ (to), (1.2. 74a} 


其 中 f(z) Æ mxn tR B fr(z0) = [| 


hi! (0) = Y ffe) Y alf (æo)V (e0) ye eI 


(1.2.74b) 
H h po E H RY Ge a E ah- 
ESA FATS R™ fice R” BSA, 如 果 其 每 一 
量 fal= l om) 在 z Ea. FEM EF a) e ROP 
aie F TE e 的 Jacobi ERE, EWH EN F Ær WBE, B 


F'(2)= F(a) = VF, 
Jacobi 矩阵 的 第 ig WEN 


of; . 
= 5A) B= 1,---,m, j=l, oo fs 


EF: R” +R 在 开山 集 卫 上 连续 可 微 ， 则 对 任何 ae pd © R”, 
有 


i I 十 日 
Fla +d) -F(a)= | Jæ ~ tddat = f F@dé. (1.2.75) 
9 AT 
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EX 1.2.11 G: Rt + RO Fre DC R” LBA 
Lipschitz SE, WH Vu < D, 


|G(v) ~ GES ylle — zil, (1.2.76) 


其 中 + 称 为 Lipschitz 常数 . Wise ve e D, (1.2.76) ear. MAR G 
在 开 集 D 上 Lipschitz HEA, fe Ge Lip, (D). 

定理 1.2.12 WP: R* 一 R" ERFDE D LESTA, F" 
É r c AR D P Lipschitz Ee, Mair +de D, 有 


|F (e +d) — Fla) — F'(a)dll < žila’. (1.2.77) 
证 明 
F(z +4 d) -— F(x) - Fr)d = f F'(z + ad\dde 一 下 fo 
“oO 
= f [F(x + ad) — F’ (x)]ddo, 
+0 
从 而 ， 
1 
F(z +d) — F(z) — Farad < f |F" {x + ad) — F'(x)|}\|d|}da 
< J ?aaellllelaa 
1 
= yid? ado 
tai? f aa 
_Y 
=2ldl? o 
定理 1.2.12 给 出 了 用 线性 模型 F(z) + F(z)q (EX F(z +4) 
的 近似 所 产生 的 误差 界 . 类 似 于 定理 1.2.12, 我 们 可 以 给 出 用 二 次 
模型 作为 f(a + 四 的 近似 所 产生 的 误差 界 . 


定理 4.2.13 WS: Rk" oO RERO DR 于 二 次 连续 
Bye, BEV? f(x) 在 ze Bik D 上 Lipschitz 连续 ， 则 对 于 任何 


， 21 >- 


g+deD, 4 
fe +a) Fe) + vf) a+ sd? V9 Fea | < Žli. (1.2.78) 
d. FA r 


这 个 定理 的 证 明 贸 给 该 者 练习 . 

作为 定理 1.2.12 的 推广 ， 可 以 得 到 

定理 1.2.14 HP: R" =c R” EROS D Emi M 
对 于 任何 ru ve DA 


IF (u) — Flv} — F'{e){u - v) | 


<| sup Pest- Fe) |ie- vi 
LOstg] (1.2.79) 


FRE F A D P Lipschitz HAE, ME 
F(u) - Fio) — Fieu- vo); < yola, vjje =- vlj, (1.2.80a) 
利 


lu ~ 2l| + lle — al 


|F (u}= Flv) — PFE) ~ vu} |} < y—— lu- sl, 
(1.2.30b) 


其 中 


a{u,v) = max{|u — a], jle — 2il}. 
证 明 


h(a) Pe) F'(x)(u — v) 


(u + t(n —v)) — Felu — wat| 


Fi |F" + tu = v)) — Po oat 


<| sup FG etu — v) - ONTE 


tgl 
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HERI (1.2.79). 及 由 于 F Æ D 中 Lipschitz 连续 ， 故 可 继续 推 得 
|F (u) ~ Fle) ~ Fiz) ~ v) 


] 

< Jv + to v) ~ ælu — vld 

0 
<y sup |v + tlu — e) — eille — eil 
BE 

=yolu,v) |e .~ vl. 

类 似 地 ， 可 证 (1.2.80b) 成 立 ， a 
定理 1.2.15 FF 满足 定理 1.2.14 的 条 件 ， 假定 [ER (e) 

存在 , WH e > 0,8 > a > 0, IG Vu,e € D, 4 max{ ile- eli, |v- 
xi} < E€ BY, 有 


alu -= vi] < F(a) - Fee) < Bo 2.81) 
证 明 AFA = REA {1.2.80b}. 


IEC) = F(v) || SHE 一 oO — Fe) Fau = o) 

< [IEO + Stu = ell + le Dj — of 

< [F (a + velle = vf. 

4 G= FE) ye, W (1.2.81) 中 右边 的 不 等 式 . 

EU) Mh, 

Fu) - Ft) || > WF'(@)(u — 2) || EG- Fw) F (eju - v) 
> [MIE E- Flu = afl + bo = ei] liu- vi 
> [LEF E] ej — vi. 

Ak, te < [Per , HS 


1 


O° Fea 7 
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便 得 1.2.81) 中 左边 的 不 等 式 . a 
1.2.6 AMES SR 


HP: R° 二 Rm, 其 Jacobi 矩阵 J (x) 的 第 (i) 个 分 量 可 以 
HERES 

a = EH heg) ~ fil) (1.2.82) 

近似 ， 其 中 file) 表示 Fle) HE: DR. er 表示 第 了 个 单位 向 

B, 天 是 一 个 数 ， 表 示 步 长 因子 Sikh, MEM A; Boe AW 

第 7 列 ， 我 们 有 i 


` ,1 一 
a, = ft ny Pe (1.2.83) 


定理 1.2.16 W F: R” RU 满足 定理 1.2.12 Wei. NM 
设 所 采用 的 范 数 | J RE les |] = 1.7 = 1,…,n, 则 


CERERE Atl (3.2.84) 
如 果 所 采用 的 范 数 是 五 范 数 ， 则 
Ia /oh < lal. (1.2.85) 
证 明 将 d=he; GRA (1.2.77), 得 到 
IF(z + hes) = F(#)— Te)hesll < zlhesl? = ZIA, 
两 边 同 除 以 h, 便 得 (1.2.84). HABEREM h ERR 花 
数 的 极 大 值 ， 从 而 立即 得 到 (1.2.85). 
类 似 地 ， 我 们 可 上 用 中 心 状 分 近似 宰 度 和 Hesse 矩阵 . 
定理 1.2.17 BJ: ROR REM 1213 WARE. 所 采用 
AY In] St FT AE el = 1,2 =1,---.r. RE ot her- he, €D, 
E = 1,...,n, FEAR ae Rg, 其 分 量 i fe SA 


a= fiz + hei) — f(z — he;) 
tT Dh 1 


(1.2.86) 


. o4 . 


ni 
leai- [Frk < ah (1.2.87) 


如 果 所 采用 的 范 数 是 ls 范 数 ， 则 


la 一 YXFz 川 -和 at (1.2.88) 


证 明 Ma M8 A 
a = f(a + hei) — fle) —A[V fle- R V F(z) 
B = f(x — he) — f(z) + hv fia) — R V? fe). 


应 用 (1.2.78), 并 令 d = thei. 得 


(1.2.89) 


Ypa | 13 
< < AT, 
lal < ar ， IAS g” 


利用 三 角 不 等 式 ， 得 
læ- Bi Zr’. 


又 由 (1.2.86) 和 (1.2.89), 有 
a— p = 2hla; 一 人 Fo] 
从 而 (1.2.87) 得 到 . ALFA lo 范 数 的 定义 ， 从 (1.2.87) Z (1.2.88). 


0 

定理 1.2.18 设 了 满足 定理 1.2.17 HAt BE r, ethe 了 十 
hept the; the; CD 1lsiggn. 尺 设 AAER"*", 其 分 量 ai 定 
SA 
四 fiz t+ he; hes) — fla + hke) 一 f(a + hej} + f(x) 
7 2h? ' l 


Aij 


(1.2.90) 
于 是 


: 1 
ais = [V FE] < gvh (1.2.91) 


如 果 采 用 的 矩阵 范 数 是 Dlo 或 Frobenius 范 数 ， 则 


|A — V7 f(x) < yh. i (1.2.92) 


证 明 ”此 证 明 完 全 类 似 于 定理 1.2.17 的 证 明 . 分 别 令 


a =f(a+ he; + hej) — f(x) — (hey + he,)? V f(a) 
— (he; + hes) V7 f(x}(he, + he;), 
B=flat hes) — f(x) — (hes)? VF (a) — (hes)? V fla) (hei), 
n =f a+ he;) — f(x} 一 (Pei VF (a2) — (he) V? f(x) (hey), 
于 是 
a~ 9-1 = 2h? (az; [VHE 


AFA Ja — p-n] < jo +18\-+)n|, 并 在 两 边 同 陈 以 242, 便 得 (2.2.91). 
(1.2.92) 直接 从 范 数 定义 和 (1.2.91) 得 到 . o 


81.3 MÆ D ee ee 


Ha PE FE eR A SE PR EER. ae 
HST RAS A AHS EA Rh RO 
A AY RIX Ar AS SF, i Rockafellar (1970) “Convex Analysis”, 

Eggleston (1958) “Convexity” 等 等 . 


1.31 pDA 
EX L31 设 集 侣 SC Rn, 如果 对 任意 rr Es, 有 
azl 十 但 一 azoES Va € [0,1], {1.3.1} 


则 称 3 En. 


这 个 定义 表明 ， 如 果 re E S, 则 连接 zl 和 xz2 的 线段 属于 
5. 


- 2 o 


亲 纳 地 可 以 证 明 ，R" 的 子 集 S 为 是 集 当 且 仅 当 对 任意 ti v2, 
有 


Ya eS, (1.3.2) 
i= 


i=l 


其 中 ai= l, os R0 iS 1m, 


EGE 


图 1.3.1 ” 西 集 与 非 吓 集 
(1.3.1) 中 的 z = az, + (1 — ajz: RA zl A za 的 上 是 组合， 
(1.3.2) 由 的 = = Sloe 称 为 zzm 的 后 组 合 ， 


i=l 

例 1.3.2 ENH = {fz|pzz =o} BK. 其 中 pe R 
是 非 零 问 量 ， 称 为 超 平面 的 法 向 量 ， a 为 实数 . 

FE WAR 21,22 e H 和 每 一 个 6& [0,1], 有 

p {Oxy 十 代 一 骨 za] = a, 

页 Br] -+ (1 一 ara € H. 

$1.33 闭 半 空间 H = {z lps < M Ht = {r |p x2 
3} 为 凸 集 - HORS IT = {ej ple <6) Wt = {e | aTe > B} 
为 目 集 - 

事实 上 ， 广 意 到 对 任意 re < 号 Fie [0.1 A 

Pp fz + (1 — 8)x_) = 6p? zı + (1 — yp ze S B. 

fe Ory + (1 -的 rs e H. 其 余 类 似 . 
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例 1.3.4 HR S= {2|20 二 Xd, 之 0} HR HH, dB 
给 定 的 非 零 向 量 ， zo HEA 
对 任意 z1,22 € S 和 每 一 个 数 和 eI0,1], 有 


zı = 了 0 十 Aid, T = to + Agd, 
其 中 入 ,Xz € (0,1). 因而 
ATi 十 (1 一 Nae an A £o + id) + (i 一 Azo + Aad) 
= æg + [A^ + (1 — Ajad, 
EAR AA + -AA 2 0, BH Arit (1 Arz E S. 
此 证 ， 车 A die xn HERR, be R", 则 集合 
S = {r € R” | Ar =b} 
Fe ESR. 
由 有 限 个 闭 半空 间 的 变 组 成 的 集合 3 ugm, 
S= {alpf z Eais E= Leum}, 
其 中 p 是 非 零 向 量 ， 记 是 数 . 多 面 集 是 闭 内 集 . 由 于 等 式 可 以 用 
两 个 不 等 式 表 示 ， 所 以 下 面 的 集 人 台 都 是 多 面 集 的 例子 . 
S= {x| Az = be > 0}, 


S= {z| Av > 0, > 0}. 


FHOIBRAT MRNA, 即 两 个 凸 集 的 交集 是 凸 集 ， 两 
全 凸 集 的 代数 和 是 凸 集 ， 这 个 引 理 的 证 明 留 给 读者 练习 . 

引 理 1.3.5 SMS 是 Re HH Ae, i 

1) S152 Ae; 

2) Si S2 = {a, + za | z1 E Sy, 29 < Sa} Bem. 

Mi S| BERT SL, AERA = OREN TB E E. 
因为 它 是 超 平面 和 半空 间 的 交集 . 
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SOR", AATE 5 ORAM 5 的 止 包 ， 记 作 
conv (S$), 它 是 包含 S 的 唯一 的 最 小 的 凸 集 . fl conv (5) 由 中 
RN MA DASE, 


conv (8) = fa | 二 es 


a; = 0, | {1.3.3) 


R” FRO, 如 果 它 关于 下 的 数 弱 运算 是 封闭 的 , 即 当 x e 
KA A> OW. Azre K. MRE K REE, WRT HE. A 
如 ， 


{2 = ién) | 2 0 ,bn BO, 
{z= (E17 En) |é >00, En > 0} 


和 
{xe R27 <0,i€ I} 
STE, AEA, be Fr, 了 是 一 个 任意 指标 集 . 
RY 的 一 个 子 上 集 是 是 锥 当 且 仅 当 它 美 于 加 法 和 正和 的 数 乘 运 算是 
HM. Ban C Meh ee 
K ={\r|\>0,2 €C}. 


FERR- FAR. AR, FORMA. 
tee eR, FRR Blzm) 定义 为 


B(x,r) = {ye RB” | ly- e <r}, 


这 个 开 球 以 x 为 中 心 ， 以 7 为 半径 ， 

he SCOR", 如 果 存 在 7 > 0, EH Bler) cS, 则 称 ee R" 是 
3 的 内 点 ，5 的 所 有 内 点 的 集合 叫 3 的 内 部 ， 用 int (S) a. & 
然 ，int (5} C5. 
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如 果子 集 3 的 每 一 点 都 是 5 的 内 点 ， 即 int (9 = S, W S 
AR FS. RS. BRO Ain 维 空间 RA RY 的 开 子 集 . 
SCR", 如果 


号 门 召 fz 门 天 全 Yr > 0, 


则 = 称 为 属于 5 的 闭 包 ， 即 x € S BR, SCS. 

MRS = 5, WS RAAT. BH, BHO An AA] R" 
ER KAUTE. 直观 地 说 ， 如 果 一 个 子 集 包含 它 所 有 的 边界 点 ， 
WER. fin, RR Bier) = {y © R” | 一 xz <r} BA 
集 . 

显然 ， 一 个 子 集 是 闭 的 ， 当 且 仅 当 它 的 补 是 开 的 . 

根据 上 面 的 定义 ， 密 包 瑟 可 以 写 为 


S= f: ER” lim {fers - gl = 0, zk € s} 
RSCR AR, FEEF WEARDE; PERM 
的 ， 则 称 为 闭 凸 集 . 
下 面 的 定理 表明 凸 集 的 闲 包 是 凸 集 . 


定理 1.3.6 WRCOCR AOR. BACHHAC HEY 
集 . 
证 明 我们 必须 证 明 对 任何 z,y CCLO SA <1, 有 


às + (1 -Ay EC, 
选择 {x}, {ys} CC, 使 得 
imer- z=0 Tim |lyx — yl| = 0, 
TĒ, 
[Xe + (1 — Ajy] — [Ae + (1 — Nl 
= ||A(ae — z) + (1 —A) (ue ~ 


- 3G - 


< Alle, — ai] + (1 — Ally — yll- 
因此 ， 取 极限 便 有 


lim Dre + (1 — Aye] ~ Dr + (1 ~ A=0, 


Mii Ae 十 (1 一 Ay eC, 口 
EO RNG? BPA RS RR A RE A 
[ry . 


区 1.3.2 “KAS 


FM 1.3.7 H Sc 是 非 空 趾 集 ，x <e9, 若 不 在 3 
中 任何 线段 的 内 部 ， 妈 ， 若 假设 2 = 62,4 (1 — Pte, 21,22 € S, 
8 e (0,1) FEW z = ri = r2, Wc ROR 3 HRA. 

是 然 ， 多 边 形 的 顶点 和 圆周 上 的 任意 点 都 是 极 值 点 . 

定义 1.3.8 BSCR AMOK, d HES AR, to Bate 
—H «ES ,r+r\9 €S,VA 20, WKAR IA SHAR. VE 
和 dz AS HPPA, MR dy # adz, Ya > 0, WAR di Md, Æ 
3 的 两 个 不 局 方向 如果 S 的 方向 4 不 能 表示 成 该 集合 的 两 个 不 
_ 同方 向 前 正 的 线性 组 人 台 ， 即 如 果 d= Adi + Aada, Ar, Ag > 0, 必 推 
得 d) = adz, 其 中 a> 0, 别称 d 为 5 的 极 值 方向 

Op 5 BS 


S = {z | Az = b,£ 20}, 
其 中 4 i mx n SORE, rank(A)= m, bE 六 ”不 失 -一 般 隆 ， 设 
A= |[B, N] 


3 ， 


Ep Bmx m aba) RM. N Bmx (n-—m) HOE. 设 .cp 和 
ty ORM BAN He, 


Bag + Ney = b, te = 0, TN = 0. 


TH, r ZHR S 的 极 值 点 的 充分 必要 条 件 是 
FE _ Bo1p 
els) 
Hh, Bb >O. 


d0 是 3 的 一 个 方向 ， 当 且 忆 当 Ad=0 430. dEÆSH 
一 个 币值 方向 ， 当 且 妈 当 


Bla; <0, WEA a; HN 的 列 ， 
-1,. 
d=ad=a(* *), 


ej 


其 中 o> 0, ee RO" 是 单位 向 量 . 
13.2 me 


eM 13.9 2 SCR” RARER, a € (0,1), 了 PERE 
S ERIAS. 如 果 对 任意 T1, E} & 5, 有 


Flam + (1 — ajea) < af(e1) + (1 ~ a) f{22), (1.3.4) 


TU Re FES 上 的 凸 函数 ， 如 果 当 zl Ae, 时 {1.3.4) 中 严格 不 | 
等 式 成 立 ， 


flaw ~ (1 -a)z2) < af(æ1) +1- e) f(z), {1.3.55 


则 称 f 为 5 ROPER ee. 如 果 存 在 一 个 常数 c > 0, (EBT 
意 £i Eg €S, 有 


af(ti) +(1—o)f(z2) > fla + (1—a)x2) + ca(1—a)|e) — zal?, 
(1.3.6) 
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则 称 了 在 SS 上 是 一 致 上 四 的 . 

WR- ES ERG OP) aR. ER 了 为 S$ 上 的 加 ( 严 
EAT) Ba Be. 

图 1.3.3 gE J chem ae. R SAR SEAN RR. en 
Be SLA A RE FRIN ho BD A PK a F 
F Aa eH ee, PERE f(a) = arz + B (ae © R", 
SeR) Æ R” ERA wee te E H Re. 


| 
i d4 l l 
xı x a X; x Xe xy < 
区 MME 非 凸 非 中 函数 
Cr per 


图 1.3.3 ae ae 


凸 函数 有 如 下 性 质 : 

定理 1.3.10 1) H f 是 定义 在 凸 集 S LORS, EM 
020, 则 af 也 是 定义 在 3 LM RM. 

D fa, fo RELENE S 二 的 凸 函 数 ， 则 fit fo 也 是 定义 
E S 上 的 凸 函 数 . 

3) 设 Fir PP ELAR 3 LNRM. SH ay, 
ca am 20, M Soh 也 是 定义 在 S bn Ba. 


i=l, 


证 阴 2) 设 e1,02¢€5,0<a <1, Bl 


filari + (1— ajra) + folea; + {i ~ cjJz2) 
s alfi(ti) + feles)] + (1 — a) Alez) + fala). 
性 质 1 和 性 质 3 的 证 明 留 给 读者 . 


如 果 凸 函数 是 可 微 的 ,我 们 可 以 用 下 面 的 特征 描述 凸 冰 数 .下 
而 的 定理 刻画 了 凸 函 数 的 一 阶 特 征 . 


定理 1.3.11 HS Cc fm 为 非 空 开 凸 集 ，7 是 定义 在 S 上 的 
TAKS Mf 为 凸 函 数 的 充分 必要 条 件 是 


SW) 2 fe) THE) ueh Vaye S. (1.3.7) 
证 明 GEE: 设 ABR, FERNE e0<adl# 
fley + (l—a)z) < afly) + (1—a)f(z). 


因此 ,对 于 0<asl, 


4 a 3 0, 得 
Vila iy —2) < fy) — F(a} 
充分 性 : 今 设 (1.3.7) 成 立 ， 任 取 zr E€ S,0 Kaci, $ 
e=or,+(l—ajre, 我 们 有 


F21) 2 He) + VF) (21 — 2), 
fz2) > Hr) + VHT) (za — 2), 


于 是 得 到 


af (sn) + (1 — oF (22) > F(x) + V Fle)? [ow 
十 位 一 cjzz — r] 


=f(ax,+(1- ele), 


这 表明 f(z) BCR. o 

GRRR EN 1.3.9 表示 了 两 点 的 线性 播 值 大 主 函 数值 ， 即 请 
RARER. 这 个 定理 表明 了 根据 局 部 导数 的 线性 近似 是 函 
TR, 即 山 函数 图 形 位 于 图 形 上 和 任 一 点 切线 的 上 方 . 这 样 的 万 
线 ( 面 } 就 称 为 凸 尊 数 的 一 个 支撑 超 平 面 ， 


，34 ， 


rout PS fi) 
TAU y=) pK , 
| 


图 1.3.4 fa Be E 


TH RAJI FR ESET Ge Be, RY BEE. 

定理 1.3.12 BSCR MAES SR J EENES 上 
AHKERA W f RRR RTE 5 的 每 一 点 
Hesse 矩阵 正 半 定 . 

证 明 充分 性 : 设 Hesse 矩阵 Y“ f(z) 在 每 一 点 x € 5S 正 半 
E Bibs, res, 由 中 值 定理 ， 有 


fe) = fE) + VITE ~ 7) + (eH) Vf (Bz 一 可 
Hep sc =74+O(2—-Fi, 9 € (0,1). ERE FES, RHR 
f(a) 2 FE + VFB)" (2 — 8), 


AAT AGE EE 1.3.11 可 知 了 BPR. 

必要 性 : 设 了 是 凸 遂 数 , ERT © S, 我 们 要 证 明 pV? fp 之 
0, vp E E. ATS BAR, DEES > 0 A JA <s m, 
工 十 Xp eS. 根据 定理 1.3.11, 有 


F(E + Ap) > F(E) + AV F(E)" p. (1.3.8) 
又 由 于 f(z) 在 到 处 二 次 可 微 ， 则 
2 
F(E + dp) = F(Z) + AV {Bp + Sp" GEE)p + ofliavl?). (1.3.9) 


其 中 G(T) Æ f ET ahia Hesse PE. 4 (1.3.9) 代入 (1.3.8) 便 得 
22p7rG(zjp+ ol pI?) > 0 


ERAELU A, FO ASO, 得 
p” G()p > 0, 


必要 性 得 证 . a 

下 面 二 个 定理 给 出 了 严格 凸 函 数 的 特征 ， 其 证 明 类 羽生 定理 
1.3.11 和 定理 13.12, 这 里 不 再 重复 . 

定理 1.313 WSCR HASH OR, FRE VAS EM 
TARR Wf AR RAARD GERE 


fy) >f@+Vile"ty-2), Ypres, ry. (1.3.10) 


定理 1.3.14 RS CRUISE, J RRS 上 的 
tk AT ie PA, MURA Ae es, Hesse 阵 正 定 ， 则 f 为 严格 
Mega. (2a f BPE ee, |) Hesse 和 矩阵 在 S 的 每 -点 正 

A fh oS OK A KOE. FEM Kee BY 

定理 1.3.15 WSCA PIES OB, EEES EMG 
PRR, a 是 一 个 实数 ， 则 水 平 全 La = {2 |z eS f(z) <a} BY 
集 . 

WERA HE rira E Le, TÆ m, ro E S, f(a.) < e, fle) <a. 
今 设 和 Et0lz= Asy t (1 Ajer H S ee CS, 又 由 于 
f fiche ee. Be 


因此 x E La, 从 而 Le fern. 国 
山 集 . 
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定理 41.3.16 USES CR LOKER BEM 
数 m > o, 使 得 : 
ul V? ffrja > mull, væ e Lizo), u e R”, (1.3.11; 
MKF L(zo) = {2 € S | f(x) < (xo)} BARAK. 
证 明 ”由 前 面 讨论 可 知 Lleo) 对 任意 ro & R” ER. RM 


ÆiE Lizo) ARE. 
HAKER Liro) 是 目的 ， 出 (1.3.21), 于 Yzy € Lla) 


milly — al? < (y ~ 2)7 V? (e + aly ~ 2) — 2). 
又 由 Taylor kext, 
Fly) = fla) + VIEW - 2) 
+ f f (AEV fie + ely — ry — rjdadt 
> f(E) + VHE” w— 2) + Smlly — al, 
其 中 m 与 zy 无关， 因此 对 任意 y E L(eo), yA to 
FW) — Fea) > VF Ceo)" (vy ~ 20) + 5mlly — rol? 
> ~|'VF(e0)!|- y — zoll + mally ~ zol. 
由 于 f(y) < fleo), i 
ly — zoli < Ž1V fzo) 


这 表明 水 平 集 L(x) = {2 |z € S, f(z) < o) AR. 5 
最 后 ， 作 为 函数 凸 性 的 一 个 应 用 ， 我 们 给 出 Minkowski 不 等 
式 的 证 明 - 
Minkowski 不 等 式 : 


(Fur) < Fe) (Ee) 


其 中 ， 卫 之 十 
证 明 ” 如果 工 或 9 为 零 向 量 ， 则 不 车 式 最 然 成 立 . 故 假 定 
秋天 站 ,中 天 昌 ， - 
# p= 1 出 于 lei + vl < [ejt jyh i5 1 KF isk 
和 ， 则 得 结果 ， 
Si p>, 考虑 函数 
P=, t> 0. 


由 于 
o'(t) = pip ~ 1)t ?> 0, 
-KAA p(t) 严格 凸 ， 注 意 到 


slip lull 
Telly + oll” Well — Welly 


TH, Heb eae Me 


4 


elle iz lp lyi 
(me lvis Rell” Welle + ivii Bi) 


Nelly ll)” ll (y 
S Jelp + i) + Teir brl) i 


因此 ， 


t 


f [ety Af editie \" 
i= (Tae Hon) <> (ait ei) 


i=1 


~ izlie f ed y ll lvl YY 
sÈ (ats Hull» ain) + Tele + lull (E) ) 
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lele il ly 
< mm (ein) pata & (inte) 


ilp zl bull» lial 
lele + iyis Hel ells ivi lglg 
= 1, 
这 样 ， 
So lei + yf < (belly + llalla)”. 
i=l 
ERRAR p LED a. = 


13.3 凸 集 的 分 离 和 支撑 


CRAKS BARREN BB TA. 我们 首先 
讨论 证 凸 集 外 一 点 与 团 凸 集 的 极 小 距离 . 

定理 1.3.17 BSc R BASH, ygs, 则 存在 唯一 
HATES, CS y RRM. 进一步 ， 束 与 y 距离 最 短 的 充 要 条 
fe 
[z -zy'(F-y) 20, VeeS. (1.3.12) 


证 明 设 
inf{ly -sise S}=7>0. (1.3.13) 
存在 一 个 序列 {ri} € S HES lly rll — y 下 面 我 们 证 明 {r} 


是 Cauchy 序列 ， 从 而 存在 极限 Ee S. 
由 平行 四 边 形 法 则 ， 有 


x — ten ||? = 2|lax - yl? + Qllem — yll? — lien + em — Zyl]? 
ET +z 2 
= 2i/au — yil? + 2ilrm — yll? — 4 = 


(1.3.14) 
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注意 到 (we + tm)/2 < S, Arh, 6 
| tk + Tm 


2 
2 -+| >r’, 


因而 ， 
Ek — Eml]? < Zen — yll? + lem — yll? - 47’. 
于 是 ， 取 天 和 mm 充分 大 ， 则 
I~ 一 nm|| 一 0. 


从 而 {zk} 是 Cauchy FAL, BARR AAS BA, Me S. 
BAMA TEA |y- 到 三 人 
正面 证 唯一 性 、 假 定 丈 ,zE9 满足 


ily 一 列 = 一 到 | =~. 
HS ASHE, (z+ 3) /2ES. 于 是 


T+T 
y 3 


1 1 
< Íly -Ei + lly- Fi = 7. 
ly =z + ly 7] = y 


如 果 严 格 不 等 号 成 立 , 则 与 y 的 定义 矛盾 , 从 而 在 上 述 不 等 式 中 ， 
仅仅 等 号 成 立 ， 从 而 必 有 


8 一 豆 二 AH 一 下)， WHE A 


XAF {ly -z| = Ha F = o k A S AA = -1, 则 有 
y= (E+ P)/2ES9 R5 yS Mii, A= 1, zr. 唯 
一 性 得 证 . 

最 后 证 明示 ES 与 y& 9 距离 最 短 的 充 要 条 件 是 (a-r) (E 一 
y) 20, wz ES. 

Hee S,(2-xz(F-y 20. 由 于 


ly- z|? = jy- E+- rj? 
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= |ly — Z|? + lë - x|? + 2E ~ x)" (y - z), 
lly- l? = ly- El Ae Sy ABNER. 
反之 , 设 lly—oll? > lly — ||", Ve € S. FESR T+ A(e—-T) ES, 
RFE A> 0. 于 是 ， 


ly -7 -A(z — BY? > ly — BI. 


及 
ly =F- Mr = z)? = lly ~ 2? 
+A? lje — #||? + 20a — F)" - (E — y} 
从 上 面 两 式 立 得 
Mile — Bll? + 2Me — 2) (F—-y) SO. 对 充分 小 的 入 > 0 
FR RRL A, 并 令 A 0, 恒 得 结果 . a- 


现在 我 们 讨论 点 种 集 的 分 离 定理 , 它 是 最 基本 的 分 离 定 埋 ， 
定理 1.3.18 BSCR” 是 非 裤 赣 凸 集 ，y € R", ygs m 
存在 向量 pgp 关 0 和 实数 o, 使 得 


Py >ehHipzca, Yre 5, (1.3.15) 


ETEF H = {z | pis = a} Pe En y 和 S. 
HERA ”因为 5 EHRE., yg S, 故 出 定理 1.3.17 知 存在 唯 
一 的 与 & RRA Te 5, 使 得 


(2—-7F)7"(F-y) 20, vres 


此 即 
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页 将 其 代入 (1.3.16) 有 
yT(y — T) — 27 (y x) > fly — FP, 
&p=y-F AO, LAMA 


pity zr > |y —2\l?, Yr eS, 


Bp 
py zp r+ iyali, vee S. 


4 oœ = sup{pr| x € S}, 则 结果 得 到 . 口 
KHERI EE 1.3.18, 可 以 得 到 在 推导 线性 和 非 线 性 规划 
壤 优 性 条 件 中 广泛 利用 的 Farkas 定理 ， 
定理 1.3.19 (Farkas TE) W AE R ce R”. WF A 
FHAA HRA HAR: 


Argo. erz>0 HAA awe R", (1.3.17) 
ATy=c, y0, MER y ER". (1.3.18) 


证 肯 {oig (1.3.18) 有 解 ， 妈 存在 y 宕 0, HE ATy =e Be 
满足 Ac <0, WA y 20, 有 


e's = y" Az < 0, 
这 表明 (1.3.17) 无 解 . 
FR BEE (1.3.18) 无 解 ， 记 
S={z|x= Ay, y > O}, 


风 S 是 非 空间 旺 集 ， 且 cg 3S， 由 定理 1318, 存在 p E R 和 
a & ,使 得 


plo>a 


- Ad. 


和 
praga, Wes. 


WFO S, Mo S0, Ai p’c> 0 X 
， a > plas pl Ay =y Ap, Vy pO. 


Ay 20am, i Ap <0. 这 样 我 们 构造 了 向 量 pe kR”, W 
足 Ap <0 äp e> 0, Ai (1.3.17) 有 和解. 证 明 完 成 . 口 
为 了 研究 两 个 凸 集 间 的 分 离 关 系 ， 我 们 引进 下 面 的 支撑 赵 平 
ae. HR OE A eB. 
定义 1.3.20 SCR BIERES, pe R” Fe GS, 这 里 
OS 表示 集合 9 的 边界 ， 


OS = {x E RSA Ng (x) £ Ø, (RS) N Ns(a) Z Ø, VE > 0}. 
其 中 Ns(z) = {yj ly- ell < 6}. 车 有 
SCH = {r€ 5S ]|p (2- T) 2 0}, (1.3.19) 


或 
SCH = {rE sS |p (z -T <9}, (1.3.20) 
则 称 超 平面 豆 = {x| pòr- z) = 0} 是 5 在 FE 处 的 支撑 超 平 面 . 
St. E SEH, W ERAS 在 殉 的 正常 支撑 超 平面 . 
现在 我 们 证 明 西 集 在 每 一 个 边界 点 有 一 个 支撑 超 平 而 . OD 
图 1.3.5.) s 


x 
H 
7 
图 1.3.5 ERF 
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定理 1.3.21 SCR BARS OR, TESS. BA, TB 
外 存在 一 个 超 平面 支撑 S, BAP EAE i Op, 使 得 


p'(e—F) <0, Veec|S, (1.3.21) 


kale |S BRS MAA, c|S= {re RSA Ne) 4G, YE > OF. 
证 明 AA Tess, MAA {yx} Pe |S, 使 得 


Ye >, koo. (1.3.22) 
由 定理 1.3.18, 对 应 于 每 一 个 yx, 存在 p & R” A [lpell = 1, 使 得 
phye > Pee, Yrecls (1.3.23) 


HT {pe} BH EMRE {pij 其 极限 为 p, pl = 1. 对 于 
这 个 子 序列 ， 显 然 (1.3.23) Mow. Bec ec(S, $ kek, k>, 
取 极 限 ， 便 得 p (x 一列 <0. 由 于 这 个 不 等 式 对 所 有 z Ec|S 成 
3, Mine ae. 口 

利用 定理 1.3.18 #0 1.3.21, 立即 得 到 下 面 的 推论 ， 

推论 1.3.22 SCR BAPE AK, EES, 那么 存在 非 零 
向 量 zp 使 得 


pilz -Ee0, Vrec|S. (1.3.24) 
证 明 Bede |S, 则 推论 从 定理 13.1848], Eze As, 
则 推论 简 比 为 定理 1.3.21. 口 


现在 ， 我 们 来 讨论 两 个 四 集 的 分 离 定 理 ， 
JEM 1.3.23 iF 51,5. CR” SESS YH, 车 


pasa, vee S, Rp rgo, Vre Sy. (1.3.25) 


则 称 超 平面 吾 == {zi pIa =o} 分 离 51 和 S52, 此 外 , FES US: e 
HWW E 称 为 正常 分 离 S 和 52. 车 


pr>a, YeeS,; Mp r<a, YEE So, {1.3.26} 


+ ġġ - 


则 称 H 严格 分 离 S 和 So. 兰 
p'r 3 oœ+s, Vee Sy 和 pen Sa, Wee Sa, (1.3.27) 


则 称 A 强 分 离 S 和 So, 其 中 s > 0. 

定理 1.3.24 (两 个 征集 的 分 离 定 理 )” 设 SaS C R RE 
HS, AF SOS. =O, 则 看 在 趟 平面 分 离 Si 和 52, 即 存在 非 堆 向 
Epe RY, 使 得 l 


pz, < plas, Ve, ec|S1, Yez €c] Se. (1.3.28) 
和 证明 设 
S= S m {z — £3 | za € HS1, Ta € Ss}, 


因为 9 是 凸 集 ， 并 且 OES (BM, SiS. 4G), HAHEI 1.3.22 
知 存 在 非 零 向 量 pE R, 使 得 


pix <p7™0=0, Ye ec |S, 


T. at y. 
P orig pee, Vey ec|S,, £g €c |S, 
于 是 结论 竺 到 . 口 


上 上 述 分 离 定理 可 以 加 强 和 而 得 到 强 分 离 定 理 . 
定理 1.3.25 (AP CRN REM) 设 51 A S Eph 
Æ. HS FR. SS. = OWE - SRE S 和 
So, BETE Ih] p 和 = > 0, 使 得 


inf {p zlz € Sy} 2 e+ sup {pele E Sy}. (1.3.29) 


证 明 ” 设 5= 9 一 Sz. 注意 到 5S EMR, HAO S. 我 们 先 
证 明 S 是 闭 的 . {ap} C S, zR, AS ER. Er = gp žr, 


1 4h. 


Ye Si a ED. BTS, BES, BPE RT {yehe wa ou, 
wES: KEK. AF 


Yk Zk > T, Yk — Y; MtFke K, 
HÉ zr 32 由 于 So 2M, Mee So, 因此 ， 


T=y—2, YVES zS 


这 表明 res, 从 而 3 ZAM. 
于 是 ， 出 定理 1.3.18 可 知 ， 存 在 非 零 向 量 p 和 实数 s 使 得 


piaze, vres 和 pO<e. 
因此 ，& > 0, OS 的 定义 ， 我 们 得 到 


pry 2 g+ p x2. Va, € Sy, wo E Fy. 


从 而 结果 得 到 . = 
814 AAR AMORA 


ATR RAA 
min f(z) xe A" (1.4.1) 


的 最 优 性 条 件 ， 它 包括 一 阶 条 件 和 二 阶 条 件 . 

极 小 点 的 类 型 有 局 部 稻 小 点 和 总 体 要 小 点 两 种 ， 

EN 1.4.1 ”如果 存在 5 > 0, 使 得 对 所 有 满足 ze R” 和 
Hz 一 zf < 6 的 zw f(z) > 了 (x") 则 称 e* 为 了 的 局 部 极 小 点 .如 
果 对 所 有 满足 ze Re Ao" A lje- al <6 Hz, f(z) > Fle"), 
则 称 x* 为 了 的 严格 局 部 极 小 点 . 

定义 1.4.2 如 果 对 所 有 x & R”, fle) > f(a"), WR z* 为 
fle) 的 总 体 极 小 点 . 如果 对 所 有 xz 关 x* Ac eR”, f(z) > He J 
则 称 z” 为 F(z) 的 严格 总 休 极 小 点 . 
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~ th 
| f \ Semi 点 


图 14.1 eh} ABH 


应 该 指出 ,实际 上 可 行 的 只 是 求 一 个 局 部 (或 严格 局 部 ) 极 小 
点 , 而 非 总 体 极 小 志 . 尽管 我 们 在 后 面 也 考虑 了 求 总 体 极 小 点 的 可 
能 性 , 但 -- 般 来 说 这 是 一 个 相当 困难 的 任务 - 在 很 多 实际 应 用 中 ， 
RARAC WE T HANER. EE, $PR DA, 
A EIER ARR h a RRA A PERN, 局 部 极 小 点 才 
是 总 体 极 小 点 . 

设 f 的 一 阶 导数 和 二 和 阶 导 数 存在 ， 且 分 别 表 示 为 


gie) = Vile), Clr) = V° f(a), 


ENA . 
定理 1.4.3 (一 防 必 要 条 件 ) if: DOR OR ERD 
上 连续 可 微 ， 若 z* ED (1.4.1) 的 局 部 模 小 点 ， 则 


g(x*) = 0. (1.4.2) 
{证 法 一 ] 设 z* R-TRMRDA, SRIPT 
rp = 2" — axg(x"). 
利用 Taylor 展 式 ， 对 于 充分 大 的 让 有 
OE flre) — fle") = af daar"), 


其 中 ny 是 zk 和 z” 的 凸 组 合 ， 两边 同 除 以 cx, HERR EF 
FEC, Be 
0 s -life N. 


BR, 24 f(x*) =O, FARZ. a 
[证 法 二 ] ”假定 gfz?) 40, Kd = gle"), W 


gle} d = —g(a*)* gz") <9, 
即 4 E FMA, MTE 6 > 0, 使 得 
flr tard) < f(a}, ve € (0,6). 
Ri 6 = óld Ao < 6, RA 
llad|} < olal = 6, 
FETE x* tad E Ng), 使 得 
| Fit + ad) < f(x"), 


这 与 z* 荐 局 部 极 小 点 矛盾 . a 
定理 1.44 (二 防 必 要 条 件 ) DOR +R LARD 
上 二 阶 连 统 可 微 ， 若 z* E DD 蚌 (1.4.1) 的 局 部 极 小 点 ， 则 


g(a") =0, G2") 20, (1.4.3) 


[证 法 一 ] (1483) 中 第 一 式 在 定理 1.4.3 中 已 经 证 明 ， 故 只 
MEN Bok. BRR) a, = z* 十 Qard, td 任意， 由 于 了 上 ec CoM 
gir*)= 0, h Taylor 展 式 ， 对 于 充分 大 的 k, 4 


0< flex) — fle") = Zad" cad 


其 中 ne 是 zs 和 r HAS. HF r” 是 局 部 极 小 点 ， fe C, 
则 上 式 两 边 同 除 以 tk: 并 取 极 限 ， 得 


d'G(a*)d 20, Vd € RT, 


从 而 (1.4.3) 第 二 式 得 到 . 口 


[证 法 二 ] ”为 了 证 明 (1.4.3) 中 第 二 式 ， 我 们 只 要 利用 反 证 法 
排斥 G) 是 不 定 的 即 可 ， BE Cle") Ti J Nele) 是 了 
的 邻 域 ， 册 连续 性 可 知 ， 对 所 有 x © Niir"), G(x) 不 定 ， 今 选择 < 
和 向量 d, 使 得 x* + ed e No(2"), HME dTGto +sajda <0. 利用 
ga") = 0, 有 


fle* + ed) = fim") 4 js2d Gat + bed)d, 


Hhoce<l. MM. fla’ ted) < f(z*). 这 与 x* 有 是 局 部 极 小 点 
FTE. 口 

满足 g(x*) = 0 的 点 st 称 为 函数 了 BEARES. in 
g(x*) = 0, W st WRB DA. ATER RA. Tn REAR 
BA- BRAS RES a OKO e A RE. 

下 面 我 们 讨论 二 有 阶 充分 性 条 件 

定理 1.4.5 (COMAS Bf: DcR" +P! 在 开 集 上 
EIER, W ct E 卫 是 上 的 一 个 严格 局 部 要 小 点 的 充分 
条 件 是 


gfe") = 0 Fil G(r) AE ESP. (1.4.4) 
[证 法 一 ] a (1.4.4) 成 立 ， 则 由 Taylor est. SEE d, 


f(a" + ed) = f(a") 十 setdT Gla" + Ged}. 


由 于 Gla") 正定 ， fe C8, 故 可 选择 e, W e 十 ed e Nola"), 从 
而 d?’ G(x" + Ged)d > 0. 这 样 


flat + ed) > f(a"), 
即 rt 是 严格 局 部 极 小 点 . 
(GEES) a x* 不 是 严格 局 部 极 小 点 ， 则 存在 序 


列 {en} C D, ay Ax", Vey flan) < fla"), 对 充分 大 的 有 利用 
Taylor 展 式 


02 flex) — fie") 
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一 gz (x, —2*) + 了 (zx 一 zj G(ne) (x, — 2*}, 


出 于 g(a") = 0, LAPT AIR 下 ze 一 站 ,并 取 极限 ， 得 


0 > E" G(r"), (1.4.5) 
其 中 三 是 一 致 有 界 序列 
{ 2} 
Jen "| 
HIE TSE A, lel] = 7. (1.4.5) 与 (zx*) MEER RSB. z 


AR BAA Pea ERRA 但 车 目标 函数 是 
凸 廿 数 ， 则 其 平稳 点 就 是 其 极 小 点 ， 且 为 总 体 极 小 点 . 

定理 1.4.6 (DAMER) Sf ROR ROR, E 
fe’, a" 是 总 体 极 小 点 的 充分 必要 条 件 是 gle") = 0. 

证 明 因为 了 Je RY LERA gfe") = 0, RA 


f(x) > f(a") + alz*\(e 2") = f(a"), Vee D. 


这 表明 x* 是 DD 中 的 总 体 极 小 点 . 
必要 性 显然 o 
约束 最 优化 的 最 优 性 条 件 将 在 第 八 章 讨论 . 


31.5 ”最 优化 方法 的 结构 


最 优化 方法 通常 采用 过 代 方 法 求 它 的 最 优 解 , 其 基本 思想 是 ， 
给 定 一 个 初始 点 zo E 后 ,按照 基 -- 选 代 规 则 产生 一 个 点 列 Lag, 
使 得 当 {zk} 是 有 穷 点 列 时 ， 其 最 后 一 个 点 是 最 优化 模型 阿 题 的 最 
th. 4in 是 无 穷 点 列 时 ， 它 寿 极 限 点 ， 且 其 极限 点 是 最 优化 
模型 问题 的 最 优 解 ， 一 个 好 的 算法 应 具备 的 典型 特征 为 : 夺 代 点 
zk 能 稳定 地 接近 局 部 极 小 点 ot 的 邻 域 ， 然 后 迅速 收 伍 于 w*. 当 
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给 定 的 其 种 收 伍 准则 满足 时 ， 夺 代 即 终止 . 一 般 地 ， 我 们 此 证 明达 
代 点 列 {xe} 的 聚 点 ( 即 子 序列 的 极限 点 ) 为 一 局 部 极 小 点 . 

B zk WORE RERS di 为 第 天 次 搜索 方向 ， ax AB k 
次 步 长 因子 ， 则 第 外 次 选 代 为 


Peri = Ek 人 (1.5.3) 


AA at “pe OR ak ae a, 不同 的 步 长 因子 o 和 不 同 的 搜索 方向 
dx 构成 了 不 同 的 方法 . PAR, 我 们 将 讨论 确定 步 长 因子 az 的 
不 同 力 法 . 从 第 三 章 开始 ， 我 们 将 介绍 确定 搜索 方向 dx 的 不 同方 
法 ， 在 最 优 社 方 半 中， 搜索 方向 屎 是 了 在 zk 点 钼 的 下 降 方 向 ， 
即 dy, 满足 


viz Td <D (1.5.2) 
flan t+ agd) < flag). (1.5.3) 
最 优化 方法 的 基本 结构 为 : 


给 定 初始 点 To, 

(a) 确定 搜索 方向 de, 即 依 照 一 定 规则 ， 构 造 了 在 zk 点 处 的 
下 路 方 向 作为 搜索 方向 ， 

(b) 确定 步 长 因子 ak 使 目标 了 数值 有 某 种 意义 的 下 降 . 

(c) + 

FRit = Ek + Oxdp, 

Ai tei 满足 某 种 终止 条 件 ， 则 停止 先 代 ， 得 到 近 做 最 优 解 cpi. 
否则 ， 重 复 (1) LPR. 

收 倒 速 度 也 是 衡量 最 优化 方法 有 效 性 的 重要 方面 。 设 算法 产 
ERDAS {zx} 在 某 种 范 数 意义 下 收敛 ， 即 


jim | 一 站 = 0. (1.5.4) 


车 存在 实数 a > 0 RPS k 无关 的 常数 g > 0, 使 得 


lim eet -F | 
E2 ae 


一 (1.5.5) 
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则 称 算 法 产生 的 述 代 点 列 {2} 具有 Q-a Be CR AE. FF, 
()“4a=t,¢>0R, BRAD {en} UMAR Q- 线性 收 就 
速度 ; 
Q) 41<a<2¢>0RMa=lqg=adh, ARAM {zk} H 
做 具有 Q- 直线 性 收敛 速度 ; 
(3) 当 a 二 2 时， ARAJ {en} 叫做 具有 Q- — Briar aye. 
i — AP OR eR CRE CAR CR 设 


lim sup || 2% -- z" ‘an ws p= 1, 
_ kom 
lim sup | zx 一 ep, ho p> i. 
koe. 


WE R = 0, 则 称 ax 是 总 MRENA e;  RO Ri al. 
KK zx 是 R- REM et; 如 果 Ry = 1, WHR cy 是 R- 次 线性 
RRF x". 

类 似 地 ， 如 果 Ro = 0, ME zx 是 R FARAT e, 如 更 
0 < Ro <1, Wea, 是 RPA ot 如 果 fy Sl, MAR xe 
是 R- PROP TT NF r*. l 

ELARA T, BROS, ATIR RKA GERE A Q- 收效 
HJE. 

EAI. HA HER TE E a aE A se RB A E E E 
RRK. Bat, RMA RUE, MPR, SHE ee 
EERE MIHE Te tA SES ER UE FE A Ne EP SE RR 
结果 GRA A Tuk Rea RR ER Re a 
特性 ， 另 一 方面 是 由 于 它们 忽略 了 计算 过 证 中 十 分 重要 的 售 入 误 
差 的 影响 ， 此 外 ， 这 些 结果 通常 要 对 国 数 Sie) IE EAE 
的 限制 ,这些 限制 条 件 在 实际 上 并 不 一 定 能 得 到 满足 . 羽 此 ，- 一 个 
最 优化 方法 的 开发 还 有 赖 于 数值 试验 . 这 就 是 说 , 通过 对 各 种 形式 
的 有 代表 性 的 检验 函数 进行 数值 计算 ， 一 个 好 的 算法 应 该 具有 可 
以 接受 的 特性 ， 显然 ， 数位 试验 并 不 能 以 严格 的 数学 证 明 保 证 算法 
RA BEF AT PERS. HE AB ES) A Po ER TR Se A ie Sie aE E e E 
时 来 选择 适当 的 数值 试验 . 


证 的 定理 给 出 了 算法 超 线 性 收 殴 的 一 个 特征 ， 它 对 于 构造 
PS ETS ART is BY A HE eH PRD 
定理 1.5.1 WEEP {fzk} Q BREW MS rt, BA 


lz 一 - | 
im Peet eal y, (1.5.6) 


k> JED — zx*|| 
但 皮 之 一 般 不 上 成立. 
证 明 ”对 于 给 出 的 整 煞 k 2 0, 


| 一 as 二 (Ce 


| 一 天 | les- "ll 
> lær -eril er- e*l] 
~ | hessel] ler- el 


为 了 证 明 反之 一 般 不 成 立 ， 我 们 举 一 反 例 ， 在 赋 范 线性 空间 
{R -时 中 ， 定 义 序列 {zr} A: 

tos] 一 3 (i = 1, 2, e J 

Ez = 2r] {i= 1,2,--+), 
BR, 2 = 0, 我 们 有 


Bual { k=2—-1,i231, 


lve -3*| Li-Li & = 20, i 1. 


这 样 ， {zx} PRR ot 
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这 个 定理 表明 erpi -- ak BY RA EARS |e- 2" |] ME 让 
判断 ， 并 且 这 个 估计 随 着 上 的 增加 而 改善 . 

算法 的 另 一 重要 特征 为 终 王 迁 代 所 需 的 收 化 准则， 对 使 用 青 
来 说 ， 最 有 用 的 也 许 是 蔓 浴 fire) f] <2 3K er- tlis a, 
Hep See = yar Reo. 但 由 于 上 述 准 则 需要 预先 知道 迄 史 人情 
筷 ， 因 而 是 不 实用 的 . 

MAG BERGHE AT A, zri: rrj] BIR er — 2" |] 的 一 个 个 
Ww PUA RA 


litter — tell S el (1.5.7a) 


或 
| (1.3,7b) 


其 中 (zi 表示 向 量 zx ORE Pa. HPA AAA SEE 
则 是 
FL) — Flert) S £1- (1.5.8) 


终止 准则 (1.5.7) 和 (1.5.8) 对 于 一 些 预 计 会 有 较 快 收敛 性 的 算法 总 
比较 理想 的 ， (A, ZEA SRF. EREN (1.5.7) 和 (1.5.8) 是 
不 适当 的 . 有 时 ， 虽 然 |r erll 是 小 的 , 但 flr) flan) 是 
大 的 ， 极 小 点 z* 远离 ak， 有时， 虽然 fee) J(e) 是 小 的 ， 
但 |z} — zil 是 天 的 ， 极 小 点 x* BEB ze RE, Himmeblau 
指出 ， 同 时 使 用 {1.5.7) 和 (1.5.8) 是 合适 的 . 注意 到 量 值 的 关系 ， 
Himmeblau 提出 如 下 终 小 玲 则 ， 
当 jel] > sz 和 Flee) > e: 时 ， 采 用 


zeta 一 al fed fel as, 
lax || S 51， FER) © El， (1.5.9a) 

否则 采用 
lerni ze Se ler) = fled Ser (15.90) 


HTA- SSE. HARRI, HSER EK. FT 
以 采用 如 下 竹 目 准则 : 
larll < €s, (1.5.10) 


其 中 gx = glr) = VF les). 但 是 ,由 于 临界 点 可 能 是 鞍点 ， 因 此 ， 
在 有 些 情 形 单 独 使 用 这 个 准则 也 是 不 适当 的 Himmeblan 建议 可 
以 将 (1.5.9) 与 (1.5.10) 结合 使 用 ，~- 般 地 ， 可 取 e, = sz = 1075, 
E3 = 167+. 

大 多 数 最 优化 方法 是 从 二 次 函数 模型 导出 的 ， 这 种 类 型 的 方 
法 在 实际 上 常常 是 有 效 的 .其 主要 原因 是 一 般 函 数 在 极 小 点 附近 
常 可 用 二 次 西数 很 好 地 进行 近似 ， 所 谓 二 次 终止 性 是 指 当 算法 应 
用 于 一 个 二 次 兽 数 时 ， 只 要 经 过 有 限 步 先 代 就 能 达到 函数 的 极 小 
Ac". 因此， 对 于 一 般 范 数 而 言 ， 具 有 二 次 终止 性 的 算法 可 望 在 
BET AR DA Bt BG AY A Be PE 


21 引 者 


Pi BERR. 又 称 线性 搜索 , 就 是 指 单 变量 函数 的 最 优 侯 、 
ER SRE we BAN ah. Gn Br. fe a a Bp Rca i ie 
中 ， 选 代 格 式 为 


Ekl = te + Optik. (2.1.43 


ROK HIS AT de 和 和 步 长 因子 on. B 


ilo) = fle, + ods), . (2.1.2) 
这 样 ， 从 zs Ha. HERE 77 H de. 确定 步 长 列子 ar 使 


plar) < pt0) 


Ae URAL SE a 的 一 弘 扫 索 问 题 . 
如 果 求 得 on, TEAR E dy 达到 极 小 ， 即 使 得 


f(a, + ordk) = min f {2p + adk), 
或 
(ae) = min pla), 


MPR MERR A ERR, BR HEIR, M 
优 步 长 因子 ， 如 果 选 取 or. HEKA f EBT REAR RE. 


Baie | BER f(a) 一 Sie, tardi) > 0 是 用 六 可 接受 的 ， 则 称 这 
ER HARAI … 维 搜索 , 或 不 精确 一 推 搜索. 成 可 接受 一 维 
fae. 

H Tara he iP eH. Blip E Re ee Oe ATT- RR ER 
2. KUL FRA REA SERA SAR TER. Pam de 
ir E wit He <b A SA gE Se ARAB) AAS Sy 

~ 维 搜 索 的 站 要 结构 如 下 : HEVNE E A PI A RIR MIRAE 

De. EPRA PR Ee OR PRP ER), 进行 搜索 求 

RRL 23 EH 8 Se DR AY ABE Se AR eH PSR] AG A E- 

SEM LLI Bw: R-+ Rate [0. +00), 首 且 


(a) = min p(o). 


若 存 在 酒 区 间 [a,b] C [0, +00), 使 a € [a,b], 则 称 [a,b] 是 一 维 极 
小 化 min pla) 的 搜索 区 间 . 

确定 搜索 区 间 的 一 M E EEA BERA 
AHR. HEE, WEAR EHKAM "高 - 低 - 高 " 的 三 
A ANARE, MARE RLI AAA. RAID 
就 是 给 出 初始 点 oo, 初始 步 长 ho > 0, 车 


plao + ho) < plao) 


则 下 一 步 从 新 点 ao tho 出 发 ， 加 大 步 长 ， 再 向 前 搜索 ， 若 


plao + ho) > pla), 


则 下 一 步 仍 以 ao AHA. SOR BRE, BS eR EL 
升 就 停止 。 这样 便 得 到 一 个 搜索 区 间 ， 这 种 方法 叫 进退 法 . 

算法 2.1.2 GREER 

步 1 选取 初始 数据 。 aoe (0,20), Ao > 0, 加倍 系数 上 > 1 
【一 UK = 2), HA ploa), k :=0. 
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步 2 the AB. $ argi = or the, 计算 pki = 
(Ons) 若 ves < pi HY 3, 否则 转 步 4. 

步 3 ”加 大 探索 步 长 . 令 hy 5 the, O = Ok, Ok 一 cl 
Pr = Peri. k= A+ 1, Hw 2. 

步 4 RRR. AR = 0, 转换 探索 方 同 ， 令 hy = 一 hy， 
ap :一 akpi 转 步 2 否则， 停止 选 代 ， 念 


a=minf{o,og.i}, b= max{a, on41}, 


输出 [a,b]. 

本 章 纵 出 的 一 维 搜索 方法 主要 针对 单 峰 区 间 (或 叫 单 谷 区 间 ) 
A we oe CACO AS eg, unimodal function). 这 里 介绍 它们 的 

TEM 2.1.3 Yo: RA, [2,6] CR, FFE ate fa, bl, 使 
得 ela) 看 [aa] 上 严格 递 降 ， 在 la", b] 上 严格 递增 ， 则 称 [eb] 
是 函数 plo) 的 单 峰 区 间 ， pla) 是 [a,b] EARRA (oS 
35). 

BAIS 0g Be ih ay se nF: 

定义 2.1.3a 如果 存在 唯一 的 a* © [a,b], 使 得 对 于 性 何 a, 
ag € [a,b], a, < ae, 有 

# az < a*, M pla) > (ay); 

车 > a, W plai) < plez) 
则 pte) 是 ja, b] E WBE E R Be 

Fig De] A E KAHA -A A eT. ME o E leb E 
是 单 峰 函数 ， 则 可 通过 比较 ”的 函数 值 ， 缩 小 搜索 区 间 . 

定理 2.1.4 hy: R R, [eb] Æ pla) MMR, 
ay, 02 € a,b], Hay < az, 则 

(1) & pla) < elo:). M [ao] 是 p(o) 的 单 贬 区 间 ; 

(2) 若 elei) > plaz). 则 [21b] B plo) 的 单 峰 区 间 . 

WER ”根据 单 峰 区 间 的 定义 ， 存 在 e+ E [a,b] 使 得 ole) 在 
jao] 上 严格 递 隆 ， A [atb EPP Hee. 由 于 pla) < vier). i 
可 知 a* € [a, ae] (如 图 2.1.1). 
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HF eta) Æ [a,b] LAS PUR, pla) HE [oa] 上 的 单 峰 
a ee. Tila as] Bylo) A PU ia). 类 似 地 可 证 明 (2). 0 


E 
~ 


图 2.1.i yea fa] FY R E A A PE 


— 
te” fy eg 看 


§2.2 精确 一 维 搜索 的 收 伍 理论 


通常 ， 无 约束 最 优化 算法 的 一 般 形式 如 下 : 
算法 2.2.1 
初始 步 : 给 出 xo E R",0de <1. 
P kP: 计算 下 降 方 向 dy; 
计算 步 长 因子 or, 使 得 


Tirk + apgd,) = min f (x + adk): (2.2.1) 
4 
Eki = Te + onde: (2.2.2) 


如 果 Viol < e 停止 计算 ;和 否则， 重复 上 述 步 
ay 口 
& 
gla) = fla, + adk), 


这 里 显然 要 求 


lO) = firr), pla) < fle). 


(2.2.1) 实际 上 是 求 pla) = f(r, + ade) 的 总 体 极 小 点 ， 这 实际 上 
是 相当 困难 的 . 道 常 ， 我 们 往往 求 出 ele) 的 第 一 个 平稳 点 ， 即 选 
取 ax, 使 得 


ak = min {e| V flay + adk) de = 0,a > 0}. (2.2.3) 


在 (2.2.1) Al (2.2.3) F, HER of 是 pla) 的 精确 极 小 点 和 学 
FAR W (2.2.1) 和 (2.2.3) 都 称 为 精确 一 维 搜 索 准 则 或 精确 线性 搜 
REU. 

设 (e —Vf(ax)) ARA E dx 5 -V i (ex) ZARE, FT 


a Vi (zx) 
Ileal VF (eed 


cos (dy, —V f (zk) = 
定理 2.2.2 Bea, > 0 ® (2.2.1) 的 解 ， [Vf (£e tadi) |i <M 
对 一 切 a>0 均 成 立 ， 其 中 BE SENR RM, NU 


Tirk) fitr tarde) > aif 


证 明 ”由 俱 设 可 知 


|V flag i? cos? (dy, -V fize). (2.2.4) 


Flan + adk) < flax) + ad? V fix.) — lida? 
对 一 切 o > 0 都 成 立 ， 今 
a = dF VF (Madr), 
则 有 


Flan) — flan + andy) 2 fiar) fir, + Ady) 
一 2 
> adp V Flea) — ZM del? 


1 (EVF 


53 lag? 


. 0. 


OE SNN CARET 
= gag! VACA Ta FE) 


EF 
V Fizl? cos? (dy, —V fler). 


— ] i 
T ag! 


下 面 我们 讨论 关于 采用 精确 一 维 搜索 极 小 化 算法 的 收敛 性 定 
H. 

定理 2.2.3 ” 设 f(x) 是 开 集 DDC R" LMT. H 
任 … 极 小 化 算法 (2.2.1) 满足 flert) < Fler), Vk; Vi (ee) de < 0. 
NETED 是 序列 foc} MRA, Ky 是 满足 lim zh 一 互 的 指标 
k 的 指标 集 、 假定 存在 M > 0, 使 得 jadi < M, Vk EK). Bd 是 
序列 {di} 的 任 - 聚 点 ， 则 


YE 一 0. (2.2.5) 


进一步 ， 如 果 再 设 f(x) 在 五 上 二 次 连续 可 微 ， 刚 还 有 


T Vf > 0. (2.2.6) 


证 明 我们 仅 证 明 (2.2.5). (2.2.6) 的 证 明 与 (2.2.5) 完全 类 
似 . 

WE Ko C Ki 是 满足 了 = lim di 的 指标 集 ， MR d= O, 则 
(2.2.5) 显然 成 立 ， 否 由， 假定 

d) 存在 指标 集 Ky C Ka 使 得 lim ax = 0. HIF on 是 精确 
ERRAT, t 


V Flex + apdr) dy = 0. 
由 于 lid. | 一 致 上 有 界 和 op -= 0, 故 取 极 限 得 


THEY d=0. 
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(i) 存在 limino = a > 0 的 情形 . 设 Ka C Ke 起 满足 
a, 2 G12 H k HIRR, Vk Ky. SEER MY, BN; 


Vi Td <-s <0. 


FETE FR NCE) 和 指标 集 Ks < Ky, 使 得 当 > E N(Z) 和 
ke As BY, | 


TFT d, < -8/2 < 0. 


BRak—PREDHER, PAHTA 0 <esa ANE 
k € Ky, y+ adp € N(Z). 了 o = min(ā/2, &), Mi 


FE) ~ Fæ) = >》 [Flzket — Flea) 


天 一 口 

€ 5 [Fer Fie) 由 算法 的 非 上 升 性 质 ) 
kek s 

< JD [Flea + o%de)} — Fe) (由 精确 一 维 搜索 ) 
KEKS (2.2.73 


= 5 YF + tedx) a dg 0 STk < a*) 
kEKs (2.2.8) 


< -3 


ke, 


PRGA T (2.2.5) 对 于 情形 G) 也 成 立 . 
(2.2.6) 的 证 明 与 (2.2.5) 完全 类 似 . 只 是 在 (2.2.8) 处 利用 Tay- 
lor 定理 的 二 阶 形 式 ， 注意 到 (2.2.7), 


JŒ) -— fizo) < > [ce + a*dy) — f(ax)] 


KEK, 


= D [Vren (ead) + 


kek, 


at 2 
s » 2 di V* Flan + Tede de 
kek: 


(at? 


dEV? flek + Tedude| OS Te Sat 
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sE [ier] ees 
KER, 


这 个 政策 说 明了 (2.2.6) 对 于 情形 (i) 也 成 立 . = 
By 满足 


OS 5-H HRT n> O, (2.2.10) 


则 或 者 对 其 个 站 有 gx = 0. RA A fp > —oo, 或 者 有 f(x) 一 0. 
证 明 BERIE k, V fler) #0, Fao 有 下 界 . HF {F(a} 
BLT RE, BORER TEE. Ai 


Fire) — f(@e41) > 0. (2.2.11) 


Hoge [VF lan). 假定 ge > 0 不 成 立 ， 则 存在 常数 = > 0, 使 
A ilg Se. 从 而 


—gp te / Ide ll = |lgx{| cos > esinp £ ey, (2.2.12) 


Fiar + ody) = fler) + ag(Ey)? ay 
= f(x) + agh dr + alg(€x) — ge]? dr 


< Han) + ail (SEFE + gto) ~ad) | 
2.2.13 


RIP E E zx 与 zx tod, 之 图 . aT 9 在 水 平 集 工 上 一 致 连续 ， 
AFE T, 使 得 当 0 < aljd,|| < 


lo(Ex) — geil < set (2.2.14) 
所 以 ， 由 (2.2.12}— (2.2.14), 
x a Ik 1 
Hest fa) <se + 和 2 
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` 1 
= f(g) 一 51. 


从 而 


_ — dp A 1 
PART Ss IE — at | a flee) 一 peel: 


这 与 (2.2.11) FA. 从 而 有 gx —> 0. O 


图 2.3.1 HH 2.3.4 Se 


下 面 , 我 们 给 出 采用 精确 一 维 搜索 的 极 小 化 算法 的 收 襄 速度 . 
为 此 ， 先 给 出 几 个 如 理 . 

引 理 2.2.5 RAR ola) 在 闭 区 间 上 ,上 二 次 连续 可 微 ， 
E y'(0) <0. # gla) 在 四 中 上 的 概 小 点 er € (0,8), BY 


(2.2.15) 


其 中 Pa < M, Va e [0,8]. 
证 明 ”构造 辅助 画 数 


pla) = g (0) + Ma, 


它 有 唯一 零点 
& = —y'(0)/M. 


由 于 (0) < M, Bee 
g'a) = y'(0) + 人 plade < y’(0) 十 人 Mda = (ea). 
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AEN el Be yla) MARUTA ole) WERE E At t (2.213) 

MEE. = 
5138 2.2.6 

In] Be ec, de RY 和 任意 实数 o FA 


ie AE f(r) 在 R LPR BET ee, A 


p » f err 、 a 
[Erted = fri tag? d+ a | (td Cat tadjdidé (2.2.16) 
o 


成 sE. 
HERR 


. 1 
Jir + eod} -— fir) = Í dfir + tad) 
0 
1 
= / [lav f(z + tad) dld(t — t) 
0 
=- [{1 — tjeV flr + tad)" a 
1 
+ f (1 — t)dla Vf (2 + tad)? d] 
a 


=a¥ fiz) d + o? fu -- td V? fie +taddjdt. o 
f 


HEA Az) 在 极 小 点 x* 的 邻 域内 二 次 连续 时 


引 理 2.2.7 
wm. HE s > 0 M>m> 0, 使 得 当 jj tji < e tf, 
ml < vy Gy < Mg, Yy E R" (2.2.17) 
成 立 ， 则 
I +j]? * 1 EET 
gimlle —« [It < Filz) —- fie) < 3 Mlle ~ a*i|*, (2.2.18) 
(2.2.19) 


„listah 2 mle — 2°]. 
ERA ”由 引 理 2.2.6， 


fla} — f(a") =9{2*)* (z — 2") 
. 65 - 


1 
+f (1 Hir - 27)? Ga + (1 — tje" He — rd 
4 


= fo — tlr — r) Gir 十 0 — the" x — x* de, 


ub 


利用 (2.2.17) 立 得 (2.2.18). 
对 glz) 作 Taylor 展开 . 


a(e) = ale) ~ ate") = | Geta + 1- Dr) edd 
0 
lla(x}blla — e*l > (2 — x") g(x) 
= f (2 — 2°)" G(ta + (L — tje" a — ridt 
ü 
> mije — z*il?, 
于 是 (2.2.19) BB). oO 
RE. RIEA ATES RER E. 
定理 2.2.8 WAIE 2.2.1 产生 的 序列 {oy} BB F(x) 的 极 


小 点 六. A fle) Er 的 某 一 令 域 内 二 次 连续 可 微 ， 且 存 禁 =>0 
FM >m >00, fFfE4 lle —atfoe 时 ， 有 有 


mliyll? <y7 (ey < Mla, Yy e R”, (2.2.20) 


WU {zn} RERA. 
WERA mt, = a, 又 假定 


Jee- e 


<e k=0,1,---. (2.2.21) 
HF (erp grj < e, KTE S > 0, 使 得 


ert (ax + jde = 2° || = [|rt —2* + dil] < e. 


MAT pt0) <0 H ele) = dG rly, + adr ldk & | we I 
理 2.2.5 50, pla) = fla, tod.) ÆRE (C0, +6) EM RANA og 
满足 


0) 、 人 9 
> OG, = Z0) > 2.2.22) 
人 
Wl 
~ ell ge | L ET 
a= AT (2.2.23) 


> Ep = 2, + Endy, 显然 ER — w* | < s. 于 是 利用 引 理 2.2.6, 有 


Fla, + Onde) — fn) 
< f(y + Ürdk} = Flag) 


1 
一 EEC + G2 f (1 ~ td} Glar + Gedy dy dt {由 引 理 2.2.6) 
0 
1 nh 
SOx(—P)ltge [lidel] + 5Maglidel|? (HH (2.2.20) 


p. 1 2 
£- zag ell {由 (2.2.23)) 


a 。 
g- Eg" ?zx 一 e*l? 【由 {2.2.19)) 
<- (FE) Me) = /Cen)], ( (2.2.18) 
于 是 有 
fem) -ens j- (GB) ax) — Fy]. 2228 


令 


= i 国 (等 ) | i (2.2.25) 
显然 8e (0,1), WH 


fler) fle" < 6? [es -- F(2*)| See 
< 6. {F(en) — fz")], (2.2.26) 
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再 由 (2.2.18), 得 


< pare fle wi (2.2.27) 
Let ay EUH AK 
lær 一 于 | < Ke, (2.2.28) 
其 中 日 < 1, 
K= V2 [Flzo) — F]. 
(2.2.28) 表明 点 列 {zk} RAMA er D 


最 后 ， 我 们 给 出 采用 精确 一 维 楼 索 后 函数 下 降 显 的 估计 式 . 
定理 2.2.9 Ho, 是 精确 一 维 搜索 产生 的 步 长 因子 ， 表 数 
f(x) 满足 


(a ~ 2) 'V fla) ~ Vs (2)] > nile - Zl, (2.2.29) 


W 
i ; , 
f (ee) — fen + ands} 2 39llauakx| (2.2.30) 


证 明 def Vf (an + arde) =0 F (2.2.29) 可 得 
f(t) — Fre + ards) = i -dp Vf (xy + tdy jdt 
= 广 at [Vi lay + wedr} — VF (ze + tdg)]dt 
> 人 soap 
= 50 onda? 
于 是 定理 成 立 ， m 
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§ 2.3 0.618 HEA Fibonacci 法 


0.618 法 利 Fibonacci (BEDAR) 法 都 是 分 割 方法 .其 基本 思 
想 是 通过 取 试 探 点 和 进行 油 数 入 的 比较 ， 使 包含 极 小 点 的 搜索 区 
HRA, ARAKEA EER REE A Aa a 
HRR ATE De TE AD RE. 这 类 方法 仅 需 
Th EP ea Ba, 用 途 很 广 ， AHAA TB Oe A SARAR ARE 
Ai ia BB AP TE IE 


2.3.1 0.618 法 
设 
pla) = f(a, + ady), 
pla) 是 搜索 区 间 [arbi] HERRAR RER k 次 迭代 时 搜索 


KE [arn bx]， 取 两 个 试探 点 An. we © [ap 外， H An < pte. 计算 
PAR) 和 olsen). 根据 定理 2.1.4, 


(1) & plrr) < ple), Me akti = kh, Baas = KR- i2.3.1} 
(2) 车 lA) > plea), WS ang: = Ag, bag = de. (2.3.2) 


我 们 要 求 两 个 试探 点 和 和 an RE PSE 
L. Ay 和 poe 到 搜索 区 间 [cy be] GS SEB, B 


bk — Ak = fle — dp. (2.3.3) 
2. 每 次 选 代 ， 搜 索 区 闻 长 度 的 缩短 率 相 同 ， 即 
了 一 eps (5 — ap). (2.3.4) 
由 (2.3.3) 和 (2.3.4) 得 到 


Ar = ta, + {1 -— 7 了]f bn 一 an), (2.9.5) 


Hk = ag + Tbe — ay). (2.3.6) 


AB (2.3.1) 的 情形 ， 这 时 新 的 搜索 区 间 为 


[axr1: bry i] 一 [aks Hki 


为 进一步 缩短 区 BE, fa BR AFR Akti: Hp-1: 出 (2.3.6), 


Merl = ak1 + ThE — akti) 
一 (十 TREE ak} 
=a, + Tlak + Th — ak) — ap) 
= ap + 77(by — ap). 
> 
T =1-7, 


w 
Hk+ = @ + {1 一 Tbk 一 ap) = Ax, 


(2.3.7) 


(2.3.8) 


(2.3.9) 


(2.3.10) 


这 样 ， 新 的 试探 点 mei RBI, NER As 就 行 了 ， 从 而 
在 每 次 近代 中 (Fi — URAL BR IP), 只 顺 选 取 一 个 试探 点 即 可 . 
类 似 地 ， 如 果 考 起 (2.3.2) 的 情形 ， 新 的 试探 点 Arti = Me, E 


(2.3.11) 


Ae Ei eB. 
搜索 区 间 长 度 缩短 率 > HRB PO? 解 方程 (2.3.9) 立 得 
1l+ v5 
T= 3 . 
由 于 7 > 0, 故 到 
T= 2- l æ 0.618. 


这 样 ， 计 算 公式 (2.3.5) 和 (2.3.6) PRA BH 


Ak == ük + 0.382(d, 一 akh 
Hk = ap + 0.618(b, 一 ak). 
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(2.3.12) 
(2.3.13) 


aR. SP RSP AM Fibonacci 法 相 比 较 ， 0.618 法 实现 比较 
简单 ， 且 不 必 有 预先 知道 探索 点 的 个 数 n. 

出 于 每 次 函数 计算 后 极 小 反问 的 缩短 率 为 7, A S E A 
[a1;b1]， 则 晤 终 区 间 的 长 度 为 rob 一 a1;, 因此 可 知 0.618 法 的 
收 仇 速度 是 线性 的 . 

0.618 法 也 叫 黄金 分 割 法 (gold section method), 这 是 因为 这 里 
的 缩短 率 7 OUR, CA 

T l-r 
1 


Ta, (2.3.14) 


T 


By 
rtr—-1l=0. 


其 几何 意义 是 : 黄金 分 割 数 r 对 应 的 点 在 单位 长 区 间 [0,1] 中 的 位 
置 相当 于 其 对 称 点 1 一 7 在 区 和 [90.71 中 的 位 置 . 
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A 2.5.10 Bee a ee ILA 


算法 2.3.1 (0.618 法 计算 步骤 ) 
步 1 选取 初始 数据 确定 初始 搜索 区 间 [a1,81] 和 精 意 要 求 
6>0. FARM PRA AL in, 


Ay = a1 + 0.382(6) — ay), 
Hy = el + 0.618(8; 一 a1), 
计算 pO) 和 olin), @ k=l. 


步 2 比较 函数 值 ， 若 pln > plur 则 转 步 3; 车 pAr) < 
pln), 则 转 步 4. 


， 71] . 


3 Abr- Arsh UME HGP. HEAD kr- CRU. e 
hip TE Ag Ube c= Be, A 
PAra) <a iol pin bs fhe41 (= k4] + 0.618(b,5.4 -一 Gil. 


FEE plni). PEW 5. 
A A pty on SE. 则 停 让 计算 ， 输出 Ae. BH 4 


Ql E Op, bp-i := He fikti I Aks 


(RETID = PMY Agga t= dari b 0-382(bee1 > e412); 


EE plàrpih 转 步 5. 
步 5 kia k+ 1, FHF 2. C 


2.3.2 0.618 法 的 改进 形式 


0,618 尘 村 求 一 维 搜索 的 函数 是 单 峰 申 数 ， 币 实际 上 所 过 到 的 
KROK a MERA, 这 时 . 可 能 产生 搜索 得 到 的 还 数 全 反而 大 
于 初始 区 间 痛 点 处 函数 值 的 情况 .Hapfnger (1976) 建议 每 次 缩 
小 区 闻 时 , 不 要 只 比较 苏 个 内 点 椒 的 函数 值 , 而 是 要 比较 两 内 点 和 
两 端点 姓 的 消 数 值 ， 当 左边 第 … 个 或 第 二 个 点 是 这 四 个 点 中 旺 数 
值 最 小 的 点 时 ， 竺 弃 右 端点 ， 构 成 新 的 搜索 区 间 ; TAD AFEA A 
点 ， 构 成 新 的 搜索 区 间 . 经 过 这 样 的 修改 ， 算 法 要 可 靠 些 . 

算法 2.3.2 (0.618 法 的 改进 形式 ) 

步 1 选取 初始 数据 ， 确 定 初 始 搜索 区 间 [eb] 和 精度 要 求 

5 > 0, 计算 


AY = aü 十 0.48261 -一 ay}, 
i = a + 0.618(6; — ay). 
计算 plait, y) eA). pia). & k= 1. 出 较 函 数 


fd, & pi ;二 minie(ai), play}, pli), (ts) }- 
$2 veg, Ht< 3, 转 步 4: 和 否则， 转 步 53. 


4 3 E bk 一 ük < é, mitit A. 输出 Hk- 否则 ， 令 


akai = Àp, Akti = Hk, khi := Üks 
plari i= Pleh (An) i= pfus h 


Hei H2 appa + OGLB(br41 ~ aeons 


计算 plera) 如 果 (一 ps < (iy, Ot t- 1l, $ 
-o pz 否则 ， 转 步 2. | 
BA Bb a, < 6, Mb Re. 输出 和: BM, + 


Aki = ak, k41 :一 Be, Phil := Ag, 
vlbper} os pluek pluky = An), 
Now) = apai + O.382(bpa 一 ak1) 
计算 pA) WR (Diea < (= 1 Mie. Beas 2: APM > 
inf 十 1, 转 步 2. z 
2.3.3 Fibonacci 法 
另 一 种 与 0.618 RRM SRIAN Fibonacci 法 ， 它 与 
0.618 法 的 主要 区 别 之 一 在 于 : RIS a RE 
金 分 市 数 ， 而 是 采用 Fiboracci Sy. Fibonacci 数列 满足 
Fsh =l, 
Pep = Fk + Fei, k= t2, 


2.3.13) 


Fibonacci 法 中 的 计算 公式 为 


Fak ， 
de = an + (. - et) ~ a) 
By akii 
Fue 
= üp 十 FP (bk ~ ap), k=l, enl. 
n—k+l (2.3.16) 


Fy 
Bk = ük + BoE (By — a), k=l, nl. 
H1 


Pye (2.3.17) 


显然 ， 这 里 Fe 相当 于 黄金 分 制 法 (2.3.5)-(2.3.6) 中 的 r, 每 次 
缩短 率 满足 


-=k 
bead 一 Gri = F OR {bk — ar). (2.3.18) 


这 里 n 是 计算 函数 值 的 次 数 ， 即 要 求 经 过 n Rite. Re 
后 区 间 的 长 度 不 趋 过 5, R 


下 于 
F 
bn an = F, {bn-1 an_1]) 
(Fi Fh Fra 
“BR R Or) 
i 
= gri ~ a). (2.3.19) 
TT 1 
喜多 - ar) a a 
从 而 5 
F, > IA, (2.3.20) 


给 出 好 终 区 间 长 度 的 上 界 6, 由 (2.3.20) 求 出 Fibonacci # Fa, FF 
根据 z 确定 出 n 从 而 搜索 一 嘉 进行 到 第 n 个 搜索 点 为 汗 . 
今 设 Fe = r", 代入 (2.3.15) 得 


re-r-1=0, (2.3.21) 
解 得 5 V5 
1 十 w5 l~ v5 

r= yo RS (2.3.22) 


因此 ， 差 分 方程 Fei = Fh t Fe) 的 通 解 有 形式 


Fy = Art + Brk. (2.3.23) 


» 74 


AA Fo = F, = 1, 得 


1 1+ 4/5 kil 1 — 4/5 =) a 
Fl , (2.3.24) 
k =| . 2 ) ( 2 } 
从 而 竺 到 
FP völ 
= =T, 2.3.25 
jm Fy, 2 T ( } 


这 天 明 ， 当 nn -oo kh Fibonacci 法 与 0.618 法 的 区 间 缩 类 率 相 
fl, 因而 Fibonacci 法 也 以 收敛 比 了 线性 收敛 . 可 以 证 明 ,Fibonacci 
法 是 分 制 方法 求 一 维 极 小 化 问题 的 最 优 策略 ,而 0.168 法 是 近似 最 
优 的 ， 但 由 于 0.618 法 简单 易 行 ， 因 而 得 到 广泛 应 用 . 


2.3.4 二 分 法 


本 节 最 后 ， 我 们 稍微 提 一 下 一 种 最 简单 的 分 割 方法 ----- 二 分 
法 ， 其 基本 思想 是 通过 计算 呈 数 导数 值 来 缩短 帮 索 区 疝 A 
A [mh] A Pe RRB [er be], 满足 (an) = 0, 
o' (by) 20, HOP AR cp = (ar + bx), Æ pler) SO, WD enya = ae, 
bai = Chi 车 plex) S0, WS ago. = cp, Orai = be, AAT AS BU HY 
搜索 区 间 [enben KIT. 直到 搜索 区 各 的 长 度 小 于 预定 的 
FRANE. — EE ERIE EBAG X M AEH, BX — Sp FE EE a 
AE thd SFE A, Me See z 


§2.4 fh E 法 


插值 法 是 一 类 重要 的 一 维 搜索 方法 ， 其 基本 思想 是 在 搜索 区 
SP ABR ARK (通常 不 超过 三 次 ) 多 琐 式 来 近似 目标 函数 、 并 逐 
步 用 插值 多 项 式 的 极 小 点 来 逼近 一 维 搜索 门 题 


min pfa) 
ce 


的 极 小 点 . 当 函 数 具 有 比较 好 的 解析 性 质 时 , 插值 方法 比 直 接 方 法 
{如 0.618 法 或 Fibonacci 7%) 效果 更 好 . 


2.4.1 ”二 次 插值 法 


1, 一 点 汪 尝 插值 法 { 午 屯 法) ”考虑 利用 一 点 椒 的 也 数值 、 一 - 
阶 和 一 阶 导数 值 构造 本 次 播 值 国 数 ， 设 二 次 插值 多 项 式 为 


gla) = aoe + ba -+ C, {2.4.1} 

则 
g(a) = Zaa + b, (2.4.2) 

hk 
~ 2 (2.4.3) 
YT 8a a 


BRST WR) AK. TERA 
qa} = aaf + ba, +e = plai), 
g(a) = Zaa +b = y' (as), (2.4.4) 


(or) = 2a = g” (on), 


解 得 
a=y"(a,)/2, b= pla) lao, 
故 
a= Bg TT ploaie (on), (2.4.5) 
HE BH. 


和 牛顿 法 的 优点 是 它 的 收 侣 速度 快 . 
定理 2.4.1 假定 ww: RoORwee’, pla”) =0, pia) £0, 
Sa A oo OAW ot I, BATE 


{ppp = Ok 一 efor} ela), k 一 Ü, 1. te (2.4.6) 


产生 的 点 列 收 艇 ， 即 og- at. Hye eC, 则 


. : 1 ， 
lim 一 一 一 |z (ae la) ， (2.4.7) 


pear) 
jong — "| = Offa = 07/7). 
iE HA 
了 


加 + t . i tty 
akti — a" = a, ~ a" — pilag)/p ax) 


a 
=o,-a*- | son 十 | p” (olde 
L Sot 


Je" 


HX p € Ca pr"(a*) #0, 必 存 在 5 > 0, 使 得 对 任何 wb E [or - 
é at + 6] af, 


= fe" (an) = eM adida/e"(as). 


eC) = pt) < Zle") 


FH, Hjar- a| <ih BA 


loys ~a*| < sla -wi g. 


从 而 ， 当 |ao - at] <8 时 ， 有 
j x ] 
‘Wy — a] & () È 
页 Ck 一 
今 再 设 pe Cs 利用 Taylor 公式 ， 对 于 充分 大 的 大， 


1 1 
0 = ella’) = Pon) ty (oe = an) + Zolena" = an)”, 


其 中 ， Ex = k +Ga*,8e€ (0, 4], 解 之 ， 得 
t r — 1 Fe -— Hire, + 2 r ， 
a* = ap p lar) p (ar) 5? (am) e" (Eka 一 ak (2.4.8) 


将 (2.4.6) 和 (2.4.8) EDA BAER. i 


i : 
Op = (cx 一 at)’ [50 (a) eE]. 


~] 
=j 


取 绝 对 值 , 两 边 同 除 以 jaso", 并 取 极限 就 得 到 结果 (2.4.7). 
Lj ， 
Pe EA] Ae BA A Br hk 
2. RR RTE (AR oe, BB plaih pla), 
TRUE y'(a1) (AR y'(e2)), HUE CR g(a) = aa? + bate. 
插值 条 人 忻 满 足 


glai) = aa] + hae = pla), 
glaz) := ao3 + bon +e = play), (2.4.9) 
q'(a@.) = Zao +b = glor): 

解 方程 组 (2.4.9), 得 


a= Pe yi for 一 a) 


一 [aa — a2)? 
t 
PI ™ 2 — pila 一 aa) 
b= +2. : 
on (a 
Aid 
b 1 i 一 ae}? 
去 = -二 = 四 十 二 . play - a2) 
2a 2 pi~ ¢2 —p\ (a1 — ag) 
加 i) tt 一 Ca 
a1 1 2 PIT Pa 1 
gile — ag) 
a — as ig! 
=a eee (2.4.10) 
[ pı ~ pa] 
212 
E OL 一 Ce 
上 式 道 常 写成 如 下 和 迭代 格式 
æ =a Œk 一 (一 1 
kti SORT g ae — Peat 
(Oe 一 Op-1) 
ar — oki kot 
-ap ep (2.4.11) 
2| t Pk — Fr-1 
Pk T Teo 
Oe kl 


- T8 o 


3 二 点 二 次 插值 法 GD ”给 出 二 点 eayas, 要 求 二 次 播 值 函 
数 满足 如 下 捅 值 条 件 
g(a) = aa? + ba, +e = (oi), 
¢ (cy) = 20a] 士 五 一 plaih, (2.4.12) 


gla) = 2aag + b = p' faz). 


解 之 ， 得 
= b Oy — by 7 
Ta) pa e (2.4.13) 
ERTS AER 
; _ 加 人 天 Cl ， 
kpl = Of wan) — van)? fan}. (2.4.14) 


Ake IA RAE, “EOD A Bere Lagrange AAAI 
到 : i 


wae PU nl— — Yatt 
g'a) = L(a) = 全 oa 一 tea 


{2.4.15} 
tho — i 


& Dla) = 0, (ES (2.4.13). 
在 后 村 的 讨论 中 ， ARE. 我 们 把 二 点 二 次 捅 值 法 (1) 称 
为 二 点 二 次 捅 值 公式 ， 而 把 二 点 二 次 插值 法 (ID RHA Ae. 
查实 乐 计算 中 割 线 公式 aap 比 二 点 二 次 播 值 公式 12.4.11) 
善 . 实际 上 , 公式 (2414) 仅 利 用 了 二 点 处 的 导数 捅 值 条 件 ,. 而 没有 
利用 函数 值 插值 条 件 ; 而 公式 (2.4.11) EAH T ARUH A (一 点 
Ab), 也 利 用 了 导数 信息 (一 点 处 ). Abo Ae AK (1) (2.4.11) 
比 二 点 二 次 播 值 法 (ID 即 割 线 法 (2.4.14) 好 . 另外， 从 一 阶 导 数 的 
VARA, RAE, 
ge’ (an) 一 oak 1) ~ van), 
k Oh-1 


(2.4.16) 


- 7]. 


Fos EARL -59w(atj(er - ana)? EA HL 
ii — Pk- 
zl Con) 一 era Ont 


Oh — On 1 


= p" (ax), (2.447) 


Je ERA gyder a HLS A 
A (2.4.11) 比 公 式 (2.4, rs) 好 . 
TR. rete A eR PLR WO CEE. 
定理 2.4.2 Kyla) PAPERS SM. of 满足 wo*) = 0, 
p"(a*) 40, 网 二 点 二 KERN: Fe CT) (2.4.14) 产生 的 序列 {ox} 收 
证 到 a, FLU Be AUPE RU + v5 æ 1.618. 
[证 法 一 ] AH) Lagrange 播 值 公式 的 余 项 表示 


| i, 
y'{a) — La) =p" (Fe e — ep- 1), (2.4.18) 


E E (On... kN. 
F ac agy HT Llary) = 0, WE 


1 、 
FE (Qk) =r’ Versys 一 CR) {Et 一 @p-1}, 


(2.4.10) 
E E (Qel, 0%. ETL), 
利用 割 线 公式 (2.4.14), 得 
; 一 二 (Op 一 ak 一 i? 
+$ ra zo {EY PR ow) ra BE (2.4.20) 
£ = lagi Ry RL) 
利用 微分 中 值 定 理 ， 
P= _ ot =~"lEu), to € (oni, en), (2.4.21) 
o(a) = p (orti) pa) = (arp — oy" E) 
(2.4.22) 
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xpi € {ak+aror] 
plar) = olan) - o'la") = (an a)l) (2.4.23) 
fe € lanma"). 
pap) =p {or 1) pla) = (ari — oP" E-a), 
(2.4.24) 


Enns E lak"). 


由 (2.4.20)-(2.4.24) 得 


PE" Er)" Era) (as 


p Ert le" (Eo)? — a") (an-1 — 0%). 


(2.4.25) 
4 ak+1 = longi — e*|, ep = jak —a* |, er = [æki —a*]. 设 在 所 


考虑 的 区 间 内 ， 


bod ro 


* 
Gh, 一半 = 


Ome leia s Me, O< m < |p" fo}| < Mi, 


Kı = my-m?/(2M2), K = Mz-M?/(2m%), 


则 
下 :| ee 一 a* | . [Qn -a*| < [ak4 -a*| < K ox 一 ac" | apt —a*|. 
; (2.4.26) 
HARA y” Hw” Æ at APES, h 
41 OF i ee") (2.4.27) 
(ak — a*) (arı 一 a“) 2 pi (at) 
从 面 有 |, 
ek 二 1 = eo Cn) Eseri = Meek, {2.4.28} 
24" (n2) 


EP ny € larap 0°), ra E (arnar) RAE 6 > 0, 当初 
始点 ao. oy E {o* -é a" +6), H ao £ a 时 ， ee >a". 
& = Me; Yi = lafis took lk k+ 1, 则 


Ek+1 = EkEk—l, (2.4,29} 


. BL: 


Yer = Ue + Yk- (2.4.36) 


(2.4.30) 是 Fibonacci 序列 满足 的 方程 ， 其 特征 方程 是 


P—-t-1=0, (2.4.31) 
解 得 
=t v5 to = 1- v5 (2.4.32) 
2 2 
由 于 Fibonacci 序列 {yr} 可 以 写成 
ye = Ath + Btk, k=0,1,:--, (2.4.33) 
RE AM BREESE. BR. Bk oo 时 ， 
Ines = Ye At®, (2.4.34) 
注意 到 
ret, PC La, (2.4.35) 
se [exp (At{)]| | 
TÆ, 
Ekt! L pfta 。 
wa MoT, (2.4.36) 
AA TAT FE E FE 
th = Lt = 1.618. = 


这 个 定理 表明 了 二 点 二 次 插值 法 0) Re 1.618, B 
PAIK R A RE E E. 

这 个 定理 也 可 以 用 下 面 其 个 方法 导出 : 其 关键 是 得 到 (2.4.25) 
和 {2.4.28), 余下 的 证 明 部 分 是 相间 的 ， 

[证 靶 二 ] iW 以 oj = 六 (oj 利用 均 差 符号 


pan- OLO yano BALEN, oaan 


c— a 


+: &2 - 


` + 
agp a" n (orner o") (eg a") lara} (2.4.38) 
WOR 1 k) i 


Elegi Ok) = i Ee) Es E lar- Oe): 


， 1 : 
® (a1, 04,0") = gt (ne), Tk T CERTA E 


id eg = | ex, 一 a*l, pii (2.4.38) AMF 


a” Gan} | i gol rp) | 

k+l = | He, y Ekek = 15 lene a1 2.4.39 
(2i (Ey 5 1 ECAS : k 1 í } 
其 中 ne E (on—1,0%,0"), Ek E (xa, 0k), HER (2.4.28). 口 


€ 
[ERS] AAK 4 6 = p(o WER BR a == (9), 
Bl at = OO). 今 用 线性 函数 捅 值 反 函数 5), 有 


一 和 sl 


p(B jak — Ez, 2.4.40 
Bk — Broa ( ) 
& G=6, 
03-18% — Okk 
(0) Br — Bema oer 
上 式 可 以 写成 
Oy Cel 
ak4 = OE — 
k41 k 3, — ra Pr 
Oh — OR-1 + 
=a, — SET OR 2.4.42 
ow wee 


MY (2.4.14) AB. SAB Rea iT 
PO) ~ pO) = Bx, n E (0, 8x1) lk), (2.4.43) 
a 83 . 


4 FRB a = U8) 的 二 阶 计数 为 ema) = -ANANS Hh 


p" 
| ; ts + 
(0) = pa) = -ikk 1; ak oe £ € {a1 Qt, 1 
Bp 
* tii ete) 一 +i e ` 
A — ksl = PR Pk- -1 310s Egz {Ok Gy, Ce pe 42. 44eb} 


再 利用 微分 中 值 定理 (2.4.23) 和 (2.4.24), 得 到 


2 et ei) (a* — ag) (a” — ax), 


(2.4.45) 


+ 
a — Wey = 


其 中 
£ € (a1, 0%, 0"), bent € (an-1,0"), bk € (anat). 
从 而 得 到 
Ekel] = Afepen—i, (2.4.46) 
于 是 得 到 (2.4.28). c 
用 类 艇 的 方法 . 可 以 证 明 二 点 二 次 插值 法 (1) 的 收 和 化 速度 的 阶 
也 是 1.618. 
4. 三 点 一 次 插值 法 . 
PRAH on 2,03 = APA BHA yar), plas), plo.) 构造 
二 次 函数 ， 要 求 插值 条 件 满足 
qla == ae 十 ba; +e = pfa, 
qalar? = acs + bag +e = plaz), (2.4.47) 
qlag] = aay + bag te = plas). 


解 上 述 方程 组 得 ; 


(co — @3)y1 + (as — adjpa + (ay 一 a2) 
(a1 — azaz — az) (os — a) '(2.4.48a) 


- R4 . 


(a3 — af) + (09 ~ a2)oa + (ad — 0 Jee 


~ (a1 ~ eajlea2 — a3)(a3 — a1)  {2.4.48b) 
T 
aa bl) + (ad -aty + (al es 
Oe on 8 (a —ag}y + (ay a lyg + (a; = Gal ys * 
(2.4.49) 
EA ay 5 Ae 
_ i 1 (¥1 ~ paz — 03)(a3 — 21) 
= F 十 
zM Faz) 2 (ay — a3), + fag — aipa + {a 一 aajpa3 
(2.4.50) 


(2.4.49)(BR (2.4.50) 叫做 三 点 二 次 播 值 公式 . 这 个 公式 也 可 直接 利 
FARR A IK 

{cx — a2} {a — a3) . {a ~ apa ~ a3) — 

(æ — ora — a3)!” (ag -aja 一 aa 


a- aa os) 
las — mlas — a) À (2.4.51) 


L(a} = 


并 令 L(x) = 0 得到. 

现在 ， 我 们 讨论 三 点 二 次 插值 法 的 收 伍 速度 . 

定理 2.4.3 设 plc) FETE AED PM, 满嘴 ofar] = 9, 
e'(a*} #0. 则 三 点 二 次 插值 法 (2.4.49) 产生 的 序列 fon? AOR 
HE RELA A 1.32. 

WEAR 由 Lagrange fi {fi 2S (2.4.51) ty 


vla) = Le) + R3(a), (2.4.52) 
其 中 
Rasfon = Ge(ajfa 一 afe — azja — ns), (2.4.53) 


将 (2.4.49) REUS X 


ag 一 
piloat as) : Palen Ton} valor tas) 
(a Brice = a3) | (fap ag) EF 一 - on | i for — æy Jles ~ a9} 
~ ne — nit. — ' 
‘Fa , 2 L. a Yea 
(ay 一 一 ora) {ol 一 a3) fas 一 doa -= œ) (a3 —a1}as — aa) 


(2.4.54) 
HF 0 = pa) = D(a") + Rola"), MA 


awe — (a + «s}) 加 eee — (a3 +a); 
PTa 一 aajfai 一 Cs) 


4: (2a — {ay +a)) 


en ~= yah g 一 try) 


+ + Rila") = 0, 
{a3 — Hag -- eg) ita’) (2.4.58) 
于 是 由 (2.4.54) 和 (2.4.55) 得 
全 ”一 Oy 
1 dfs, 
__ _ 2 ‘da (oa) _ 
加 Pr + ps b 
\ (a -aa Ho 一 aa)? ECETES œ) {as —o1}(a3 ~ a2) 
(2.4.56) 
$ e= a" aj, i= 1,2,3,4. 则 由 上 式 可 得 
eaj- pile 一 €3) 一 ples 一 €1) 一 palei 一 ez)! 
1 dk. 
-3 Wen, ~ €)(€2 一 esjfea — er). 
(2.4.57) 
由 于 y'(a*) = 0, H Taylor 展 式 得 
et 
gi = vor) + zr la) + O(e3), (2.4.58) 


假定 =; 的 三 阶 项 可 以 忽略 ， 将 (2.4.58) 代入 (2.4.57), 得 


1 dRs(o’) 
year) da ‘ 


FH Lagrange 择 信 公式 的 结果 ， 有 
dF3(a) 
oe 


+ (a - oda- e+ zr (Na — ala — a2)(0~ a), 


= Eo (a) = az) la = as) + (æ = aa ~ aa) 


date =i Ela") lerez + ezea + €361) 
de 6 
+ =y (Mereaes. (2.4.60) 
BE leil, lezl, lea] 均 很 小 ， 则 由 (2.4.59) 有 
BDie(o* 
Ed 一 £ Elo Derez 十 eae3 + e3€1) = M(e1e2 十 eaea + ese1). 
bp {a*) 
(2.4.61) 
这 里 M 是 某 个 常数 ， 一 般 地 ， 我 们 有 
Ek+2 = M {er_1Ek + EkEk+i 十 Ekt1@k—1)- (2.4.62) 


由 于 当 er 30, erpi = Oler) = Ofen_1), WEE M > 0, 使 得 
lexs2| < Mlexal- lel, | 


或 


Milenzai $ Mlex—1|- Mlexi- 
车 取 Jeil eales 充分 小 ， 使 得 
ê = max{Mje,|, Afleo|, Mles{} < 1, 


则 有 


Miea| £ flea] ez = 62. 
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“ap 


Mlex| < 6", (2.4.63) 
出 
M Jer+al = Miex| ` Milex—s| 6 .Hk = BIR+2. 
TR qrt = qk tqerr, (k> 2) (2.4.64) 
其 中 


qi = 92 = Gg = 1. 
GR. (2.4.64) 的 特征 方程 为 


®—t-1=0, (2.4.65) 
这 个 特征 方程 有 一 个 大 于 1 SCH 
ty œ% 1.32, (3.4.66) 


有 两 个 模 小 于 1 HERRER [tol = [ts] <1. HES (2.464; 的 通 解 
可 以 写成 


qk = Atk + Bt + Cty, (2.4.47) 
其 中 4, 如 和 和 已 是 待定 参数， BR, Bk oo 时 ， 
qati — tige = BCts — ti) + Cth (ts — ty) 0, 


H k EDAH, 有 gai tigk S 0.1. (2.4.68) 


eh (2.4.63) 有 


1 , 
GAES 7° = Bi (k 2 1). 


Fae. WAY (2.4.68) 可 知 ， 当 上 充分 大 时 ， 


I gaen 
Bis z Ad ; _= Wh) gee tae x poole 1 
Bý (=) T Stig 
M 


REHAT ACE OG t = 2.32. 


， BR - 


te ag A A PLB RE e- 


一 一 -一 一 一 一 一 一 


f Fuhe 


ee ee 


| fst E Wa ER ed [sos eg] | 


{ra lanai eo y 


图 2.4.1 二 点 二 次 梢 值 法 枝 图 


So 


2.4.2 ”三 次 插值 法 

三 次 插值 法 是 用 一 个 三 次 四 项 式 来 通 近 被 极 小 化 的 函数 lah 
这 个 四 项 式 的 四 个 系数 要 有 四 个 条 件 来 确定 .我 们 可 以 利用 四 点 
的 函数 值 ， 可 以 利用 三 点 函数 值 和 一 点 的 导数 信 ， 也 可 以 利用 二 
点 的 函数 值 和 导数 值 . 三 次 播 值 法 比 二 次 播 值 法 有 较 好 的 收 各 将 
果 ， 人 但 通常 要 求 计 算 导 数值 ， 且 工作 量 比 二 次 插值 法 大 . 所 以 ， 当 
导数 易 求 时 ， 用 兰 次 播 值 法 较 好 .下面 介绍 常用 的 二 点 三 次 播 值 
H. 

”用 函数 pla) 在 @5 二 点 的 函数 值 pla), lb) 和 导数 值 pla), 

pb) 来 构造 三 次 函数 .为 方便 起 见 ， 取 三 次 四 项 式 为 

pla) = ela — oa + e(a- ay + csla- a) + ea, (2.4.69) 
四 个 插值 条 件 为 : 


pla) = c4 = ofa), 
p (a) = cs = p (a), (2.4.70) 
PO = c (b — a)? + en (b — a)? + e3(b — a) + e4 = ylh), 
Pb) = 8c, (b ~ a)? + 2ca(b — a) + ca = y'(d). 
SER plo) 的 极 小 点 ， 即 求 
p (a) = 3c,(a — a)? +2c(a — a) +03 = 0 (2.4.71) 
的 根 ， 由 极 小 点 的 充分 条 件 ， 有 
p'(@) = bcil — a) + 2c > 0, (2.4.72) 
解 方程 (2.4.71) 得 二 根 为 
ca 二 Wo 一 3clcs 


3c 


e=a+— 


3 车 Cl 天 0, 
(2.4.73a) 
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£3 8, <0, (2.4.73b) 
2c5 


a@=a- 
将 (2.4.73a) AA (2.4.72) 可 知 


2(- c3 + 4/02 - Berca) 4 Beg = +e} — 3c16s > 0, (2474) 


故 符 号 应 取 正 号 . 这 样 , 我 们 可 将 解 的 表达 式 (2.4.73a) 和 (2.4.73b) 
合并 ， 得 


ana ete Ses 75) 
BC j ea + yeZ — Berca a 


当 ci = OW, (2.4.75) BE (2.4.73b), 于 是 pla) 的 极 小 点 为 


= wa 一 (2.4.76) 


i 
ca + wei— Sereg 
在 (2.4.76) PRA a BAL coec 表示 的 下面， 我 们 用 
二 点 a Bb 处 的 信息 vla obh glah p HW ERR- 
设 


-ee 


w? = 2? pla) (b). (2.4.77) 
利用 (2.4.70) 有 


3 一 52 人 一 2 = 3[e1(b — a)? + co(b — a} +c3], 


z= 8—g'(a) — o'(b) = elb ~ a) +03, 
w? = z? — p'(a}y'(b) = (6 - a)" (å — 3c1c3), 


则 
名 aye y e3 — Bere be 
一 ajeg = Z — C3, C2 — 3c1c3 = ， 
_ 2 3 2 103 =p 
故 
z+w—e3 
ca 十 /cz — Bereg 一 一 一 一 
2 3 163 boa 


FIFA cs = g'iaj, W (2.4.76) 可 以 加 成 


a~a= -6— abv (a), (2.4.78) 
z+uw—-y'(e} 
或 者 
aan E oele ed) —(b — a)(2? — w?) 


“Ete eae) eRe + w) — GF - wu?) 

_ (b=a}w— 2) (2.4.79) 
各 一半 一 名 

注意 到 上 式 的 分 母 可 能 为 零 ， 我 们 将 (2.4.78) 和 (2.4.79) H14 

子 分 母 分 别 相 名 ， 得 


_ oO) bw te 2 4.800 
a _ 24.80 
& = a+ (b- a} (1 有 一 ella) + xa) ~ 


w—yp'(a)— 2 
28) = (a) = De 
在 (2.4.80) PHE g'lb) - p'la) + 2u 40. Bet. HE 
pla) <0, PA > 0, 元 二 一 api > 0, Kw ARR. 
HM 2w > 0, 从 而 分 母 ob) pa) + 2w > 0. 
FAKE, 我 们 可 以 讨论 三 次 搬 人 第 法 的 收效 速度 .类 
WT (2.4.28), 我 们 可 以 得 到 


@=a+(b-a) 


(2.4.80b) 


éeti = M {ereki + ektepar h 
M 是 某 个 确定 的 常数 ， 从 历 可 以 确定 其 特征 方程 为 
总 一 二 一 2 一 


解 得 t= 2. 因此 二 点 三 次 捕 值 方法 的 收 就 速 度 为 2 阶 . 
最 在 我们 给 出 二 点 三 次 搬 信 算法 的 框图 ( 史 图 2.4.2). 
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下 二 一 


P= of =e yy) 


M242 二 点 三 次 独 值 法 框图 


§2.5 不 精确 一 维 搜索 方法 


一 维 搜索 过 程 是 最 优化 方法 的 基本 组 成 部 分 ， 精 确 一 维 搜索 
方法 往往 需要 花费 很 大 的 工作 量 . 特别 是 当选 代 点 远离 问题 的 解 
时 ， 精 确 地 求解 一 个 一 维 子 问题 通常 不 是 十 分 有 效 的 . 另外 ， 在 实 
际 - 上 ， 很 密 最 优化 方法 ， 例 如 牛顿 法 和 拟 牛 顿 法 ， 其 收 伍 速度 并 不 
依赖 于 精确 一 维 搜索 过 程 . 因此 ， 我 们 只 要 保证 目标 函数 fle) 在 
每 一 步 都 有 满意 的 下 降 ， 这 样 就 可 以 大 大 节省 工作 董 . 


2.5.1 Armijo-Goldstein 准则 


Armijo (1966) 和 Goldstein (1965) 分 别提 出 了 不 精确 一 维 搜 
索 过 程 ， 设 
J= {a>0| flar tad) < Flzx)} (2.5.1) 


是 一 个 区 间 ， 在 图 2.5.1 中 ， 区 间 了 = 0,0). 为 了 保证 目标 函数 单 
WFR ANER S 的 下 降 不 是 太 小 (如果 f 的 下 降 太 小 ， 可 能 


- Of - 


导致 序列 {f(zx)} RRR AR). 必须 避免 所 选择 的 a K 
靠近 区 间 J 的 端点 ， 一 个 合理 的 要 求 是 


Flnr + sp) < flee) + pol Shs (2.5.2) 


其 中 0O<p< 3 Sk = andy. MÆ (2.5.2) BORN or 构成 区 间 
J, = (0,c], 这 排斥 了 区 间 J 的 石 端点 附近 的 点 . 


A e f (a a 


Y 


图 2.5.1 
为 了 避免 a 太 小 的 情况 ， 我 们 加 上 另 一 个 要 求 : 
fxg se) 2 fle.) + {1 — poise, (2.5.3) 


这 个 要 求 排斥 了 区 间 J 的 左 端点 附近 的 点 . 满足 (2.5.2) 和 (2.5.3) 
要 求 的 a 构成 了 区 间 Jo = [b,c]. FEAT (2.5.2) 和 (2.5.3) 称 为 
Armijo-Goldstein 不 精确 线性 搜索 准则 . ME Armijo-Goldstein HE 
则 ，-* 且 所 得 到 的 步 长 因子 a 满足 (2.5.2)(2.5.3), 我 们 就 称 它 为 
可 接受 步 长 因子 .满足 (2.5.2}-(2.5.3) 要 求 的 区 间 Jz = [b,c] RH 
可 接受 区 间 . 

i pla) = fier + ody), 则 (2.5.2) 和 (2.5.3) 可 以 分 别 写 成 


plar) < PAN + oap (0), (2.5.2a) 
plar) 2 PD + (1 — p)axy'(0). (2.5.3) 
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还 应 该 指出 ， p < 3 DEREDEN AE MEy 是 二 
次 函数 ， 满 足 
oO < 0 FT y”(0) > 0, 
那么 ， 六 的 总 体 极 小 点 a 满足 


. i ; 
pto”) = p(0}+ Pkg (0), 


因此 o WR (2.5.20) SANA <5. 限制 p< Eaa) 
BAA RNR EBA. WRH p < 3 MRS PEM 
这 些 方法 的 超 线性 收 伊 性 . 
2.5.2 Wolfe-Powell 准则 

如 图 2.5.1 fos. Armijo-Goldstein 淮 则 有 可 能 把 步 长 因子 a 


的 极 小 值 排队 在 可 接受 区 间 外 面 ， 为 此 ， Wolfe-Powell 准则 给 出 
了 一 个 更 简单 的 条 件 代 替 (2.5.3) 


gd > og dg 9 € (p,1) (2.5.4) 


g(a) = [VF (Er + onde] dk > oV flex)? de 
= oy'(0) > y'(0). {(2.5.4a) 
其 几何 解释 是 在 可 接受 点 处 切线 的 斜率 v lar) AF REP OR 
率 的 o HE. 准则 (2.5.2) 和 (2.5.4) 称 为 Wolfe-Powell 不 精确 线性 
EREM, Hp Wolfe-Powell 准则 ， 其 可 接受 区 间 为 J = ie, cl]. 
(2.5.4) 可 直接 由 中 值 定理 和 (2.5.3) #8). Broa, 满足 (2.5.3), 
则 有 . 
an |W firk + brandy)? dy = firk + andj) 一 Fiza) 
> (L—plarV f(a)" d, 


: Of . 


H EaR EITTIE EI (2.5.4). 


AE H. WA (2.5.2) R (254) Mae he tf 
在 的 . HE Oy FET A (2. 2) 


rh Aae pE AI o heH AEEA, [2.5,2) 
BRI flay + Arale de = Flan + Gade = Fier) 
= PRVE de, 
HEH bre (01) pca s L ESR Vle) de < 0. Ml 
IW flora + Gnade de = pV flek) de > oV flan) des 

& oj = fran. WES (2.5.4). Stipe ie ew: FER p coo < l 
是 必要 的 . 它 探 证 了 满足 不 精确 线 ， ie Moog NK T ay 的 在 
É. 

庶 该 指出 ， 不 等 式 (2.5.4) 是 精确 线性 搜索 所 满足 的 正 交 条件 
gl ady =o 


BEIL {E (2.5.4) 的 不 足 是 即使 在 o 一 和 0 时， 也 不 能 导致 精确 的 
线性 搜索 但是， 如 果 利 用 


lakrids) $ ogh de (2.5.5) 


代替 (2.5.4), 则 在 极限 情形 o 一 0 时 就 可 得 到 精确 的 线性 搜索 . 
Fl, (2.5.2) 和 (2.5.5) RAMA R RHE. A 
时 (2.5.5) 也 可 写成 如 下 形式 


CRTA = a|gi dr); (2.5.5a) 
或 
Paw) & olg (0). (2.5.5b) 


一 般 地 ， = éb BWR RHR. Mo = 0.1, 就 得 到 一 - 
个 相当 精确 的 线性 搜索 ， 而 取 ¢ = 0.9, 则 得 到 一 个 相当 吉 的 线性 
搜索 . 不 过 ， o Emh, CHESA mTM TER 
过 小 的 o, HA ATER p= 0.1, o= 0.4. 


当 采 用 Wolfe-Powell 准则 (2.5.2) 和 (2.5.4) 时 ， 下 面 的 性 质 成 
ae. ` ， 
定理 2.5.1 ee Re fle) BAA. VS (x) 满足 Lipschitz 
条 件 

“IV f(y) ~ VF) < Mlly — zil- 
如 果 far beds) FAI, o> 0, 则 对 满足 (2.5.2) 和 (2.5.4) 的 任 
fT a, > 014A 
flee) — ler tardy) > 的 二 二 lv za) cos? (de, VF), 
(2.5.6) 
证 明 ”由 Lipschitz 条 忻 和 (2.5.4), 得 


arMlidill? > df [VF (ee + andy) — Vlr] > -U — od? VS (an), 
即 


allri 2 Ida {lV Fiza) | cos idk, —VF Cen)) 


ils ira 


-V f (xx)). 
利用 (2-5.2), 有 
F (xn) 一 FU 十 Gage 2 —oxpd? Vf (xe) 
=a pld lY f (2%) || cos (da, ~via) 
2pl Vf (ri) cos (de, -V E(w) . hv zx) cos (de, -V f(x) 
=P TLT faa)? cos? idr, —V f(z). 口 


2.5.3  Armijo-Goldstein 和 Wolfe-Powell 不 精确 一 维 搜 索 
方法 


虽然 Armijo-Goldstein 准则 中 (2.5.3) 可 能 把 a 的 极 小 值 排 
斥 ， 但 实际 上 这 种 情形 几乎 很 少 出 现 . 国 此 , 它 还 是 一 个 经 党 采用 
的 准则 . 
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RA A a Ba 
| % ==, PÜ 


计算 ey 


+0) 


a =a 


{ (ae teagh 2. 如果 a ote 
此 一 


to, aril 


图 2.5.2 Armijo Goldstein AA t ER E 


下 面 ， 我 们 给 出 Armijo-Goldstein 不 精确 一 维 搜索 方法 的 步 


算法 2.5.2 

步 1 ”选取 初始 数据 在 搜索 区 间 [0,+cc) (BE 10, ama]) PR 
定 初 给 点 ao, 计算 wl0), g0), 给 出 ps (0,5), t>1. 
A ao = 0, by = +00 (BE amex), B= 0. 

步 2 ”检验 准则 (2.5.2). 计算 olan), 车 


plar) & PD) + pore (D), 


转 步 3; Bi, > Opa t= fk, bral [= OR, BE ab 4. 


步 3 检验 准则 (2.5.3) 者 


plar) = #(0) + {1 T pary (CD), 


aR IE, ii on; Te, 全 Ükt :一 OE, Aya := A. 
$ bea < oo, Fe 4: BM, A arpi t= toy, Rie ktl, 
转 步 2. 


选 联 初始 数据 


0 


Gs a, Sore EA 


fafa A ga 


计算 Sgi, + aay) 


gf 一 & de 


A Aa A 
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步 4 过 到 新 的 探索 点 - 取 


Ging 十 Ong 
Qk i= ~; m 


& k:=k+1l, 转 步 2. E 
类 亿 地 ， 我 们 给 出 Wolfe-Powell 不 精确 一 维 搜索 法 的 框图 . 
从 二 述 两 个 算法 框图 中 可 以 看 出 , 这 两 种 方法 是 类 似 的 . 只 是 
在 准则 不 成 立 ， 而 需 计 算 新 的 o 对 ,一 个 利用 了 稀 单 的 求 区 阐 中 
点 的 方 活 ， 另 一 个 采用 了 二 次 畏 值 方法 , 这 只 其 我 们 所 介绍 的 确定 
新 的 a 的 两 种 方法 ， 读 者 也 可 以 采用 其 他 方法 确定 新 的 a. 


2.5,4 简单 准则 和 后 退 方 法 - 


在 实际 中 有 时 仅 采 用 准则 (2.5.2), 并 要 求 a 不 太 小 , 我 们 把 这 
种 仪 利用 准则 (2.5.2) 的 做 法 电 做 简单 蕉 则 -后退 方法 就 是 利用 这 
种 简单 准则 的 不 精确 ~- 维 搜索 方法 ， 

其 思想 为 : 开始 时 令 a = 1, WẸ a, tad, 不 可 接受 ， 则 减少 
a (BEE), 一 直到 s tadi 可 接受 为 止 . 后 退 方 法 的 算法 如 下 : 

算法 2.5.3” BH pe (0.5). On<f<cue<cl. 


#1 kasil; 
Flan + odk) < fitr) + pagk dr: (2.5.2) 


步 3 WMR (25.2) 不 满足 ， 取 ai= wa, wE iuh 转 步 2; 如 
果 (2.5.2) BE, Manco, 


Pep. = oe t+ andy. 
在 上 述 算法 的 步 3 中 , 减少 o HSER ETT LL SR — HALT 
设 
gla) = flee + ads). (2.5.7) 


， I0l ， 


开始 时 ， 我 们 有 


pO) = fler), (0) = VF (an) de. (2.5.88) 


在 计算 了 fleet ak) 以 后 ， 我 们 有 
pll) = fler + de). (2.5.8b) 
WE fle. +d.) 不 满足 (2.5.2), 则 用 如 下 二 次 模型 近似 pla): 
mia) = [p(1) — pt0) — v'(O)Ja? + p (O00 + p00), (2.5.9) 
ERE (2.5.88) 和 (2.58b) 中 的 三 个 条 件 . 令 m (a) =0, 得 


p' (0) 

2{ (1) — (0) — p0) 
它 可 以 作为 下 一 个 An 的 值 . 

为 了 防止 a 杰 小 和 短 环 出 更， 常常 在 上 述 算 注 中 增加 保险 措 
施 ， 即 给 出 一 个 最 小 步 长 minstep, MEM) (2.5.2) KAE, E 
led, || <minstep, 则 线性 搜索 也 绽 止 . 

归纳 起 来 ， 我 们 在 这 一 节 介 绍 了 三 种 不 精确 线性 搜索 准则 : 

(1) Armijo-Goldstein HEM): (2.5.2)-(2.5.3). 

(2) Wolfe-Powell 准则 : (2.5.2) 和 (2.5.4) 或 (2.5.2) 和 (2.5.5), 

(3) 简单 准则 (2.5.2 
这 三 种 不 精确 线性 搜索 准则 都 是 常用 的 ， 利 用 这 三 种 准则 可 以 构 
造 车 干 不 精确 一 维 搜索 方法 . 上 面 介 绍 的 几 种 方法 仅 是 其 中 的 玫 
个 例子 . 


2.5.5 ”不 精确 一 维 搜索 的 收效 性 定理 


AVR, RATER BRAM EE. 为 
Tu AER FRE, BORA se = ocd, RM 
度 方向 一 gs 几乎 直 交 的 情形 ， 即 要 求 s 偏离 gx 的 正 交 方向 远 一 
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a= 


(2.5.10) 


些 . 否则 ， sho, BFS, s 几乎 不 是 下 降 方 向。 为 此 ， 我们 假 
设 sk 和 一 qx 的 豆角 所 满足 


a, < 5 —p, Vk, (2.5.11) 


其 中 ， p> 0, A, € [0, 7/2] HLF 
cos bs = —9F 8x/(ilgelllleell)- (2.5.12) 


采用 不 精确 一 维 捷 索 的 一 般 下 降 算法 的 形式 如 下 : 
算法 2.5.4 
步 1 Bw rm eR" 0ge<1l,k:=0. 
步 2 WR IVe <2, Wik; 否则 ， 求 出 下 降 方向 dr, 
使 其 满足 dTV f(z) < 0. 
步 3 求 出 步 长 因子 or, 使 其 满足 Armijo-Goldstein 准则 
(2.5.2}-(2.5.3), BẸ Wolfe - Powell 准则 (2.5.2) 和 (2.5.4). 
步 4 Say = opt andy k:= k41, BH 2. a 
TA He eA ANA E A ee a aE 
定理 2.5.5 BEER 25.4 中 求 步 长 因子 ok 采用 Armijo- 
Goldstein WÈM) (2.5.2)-(2.5.3), 并 设 夹 角 条 件 (2.5.11) WE. mE 
Vi 存在 ， 且 在 水 平 集 {a | f(z) < f(z0)} 上 一 致 连续 ， 那 么 ， 或 
者 对 某 个 上 有 Vf(z4) =0, 或 者 flax) > 一 co, 或 者 VF (a.) > 0. 
和 证明 ”假定 对 所 有 的 gs = VE (en) #0 (由 此 sk = Onde £ 
0) 和 f(a.) FAH, BE f(ze) Fler) > 0, 因此， 由 (2.5.2) 
得 到 —gf si 一 0. 
今 假定 p 一 0 不 成 立 ， 那 么 存在 。 > 0 和 一 个 子 列 使 得 
lgxll > € 和 liski +0. FO < oy, ft 


下 
cosa 2 cos (5 一 n} = sin p, 
从 而 
-gf's > sinpllgel- [sul] > esin pllssll. 
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但 Taylor 公式 给 出 
frl): = fier) t gE Sky 


其 中 总 位 于 线段 (wa tea} bh tH BOREAL HE, 34 sk — 0 IN, 
glist + gre EER, 


Firea) = f(E) 十 gk Si + oliissll), 
此 有 
由 此 有 flaw) — F) 
=g; Sk 
这 与 (2.5.3) FR. i ge 0 9 
ZE FPR Wolfo-Powell 准则 ， 则 可 采用 (2.5.4) 代 
(2.5.3), 并 注意 到 ， 由 gle) 的 一 致 连 续 性 ， 有 


>I 


dkak = gk Sk + oʻlsa] ), 
使 得 
Shee 
gE Šk 
XK (2.5.4) of 19/973 So <1 FE A 市 也 有 Ton > 0. 因此 ， 
对 于 采用 Wolfe- Powell QUAN) RAHMAN PRA. Bp 
BEEM 2.5.5 也 成 立 . 
类 似 地 ， 定 理 的 其 它 形 式 和 证 时 如 下 . 
定理 2.5.6 Wf: R° +R eR” LEST MATAR. Vi 
:存在 且 在 水 平 集 吕 = {e | fle) < flzo)} b MES. KETAM 
线性 搜索 的 下 降 方法 采用 Wolfe-Powell 准则 (2.5.2) 和 (2.5.4), W 


ol. 


= 0. (2.5.13) 


证 明 BF Vfl) se <0, 又 由于 了 下 有 界 , 因此 序列 foe} 
是 有 定义 的 ， 且 在 水 平 集 N H. 此外， flee) 是 下 降 的 ， 时 此 收 
a. 


下 面 用 反 证 法 证 明 (2.5.13). 假定 (2.5.13) 不 成 立 ， 刚 存在 = > 
OFF FRY), Hittin K, 使 得 
_ Mf (zn)" sk Se 


， kEK 
Tell 
H (2.5.2), 
a Vv i) gy 
Flex) — fler) > pilsell (- Tae | > pllsalle. 


REA flee) EMA, M{s,:k © K EREE. 又 由 (2.5.4), 
(l—o}f 一 VEER) sz) < (Vf (ae + sn) — VF (an)? Sk & DO. 


内 此 ， 


ex Ties <; l i Yfias— sr) Vflan)lh, kE K. 
Jk _ ` 
但 是 ， 由 于 我 们 已 经 证 明了 {s |k e K ORS, WS VE 
水 平 集 上 的 一 致 连续 性 矛盾 . 口 


- 定理 2.5,7 WAM f(x) 连续 可 徽 ， 且 VS (x) WAL Lipschitz 
RE . 

IV f(z) -VDI < Mie — yli. (2.5.14) 
又 设 在 算法 2.5.4 PRAY Wolfe-Powell 准则 (2.5.2) 和 (2.5.4). 如 时 
算法 产生 的 下 降 方向 de 与 -Ver) 的 来 角 所 满足 (2.5.11), BB 
么 ， 对 于 算 访 产 生 的 点 列 {ax}, REAT k E Vlar) = 0 或 
者 f(z) 一 —co, RA V flrs) 一 0. 

证 明 ”假定 对 所 有 k, Vire) A0. 从 定理 2.5.1, 得 


F(ve) — fxr) > 8 cos? a, ||VF(xi.)17, (2.5.15) 


Ep 8 =pli-o)/M BS kEXMHERR FH, Hu k >o, 
网 


k-1 


f (#0) — flee) = SO UF (as) — Faia)! 


imo 
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k-1 
> 8 min IV fix]? S cos? &. 
O<igk > (2.5.16) 


由 于 6 满足 (2.5.11), 这 意味 着 


5 cos? Br = +90, (2.5.17) 
kað 


于 是 , 从 不 等 式 (2.5.16}) 即 知 , OAT VS (zn) + 0, Rat f(a) > 一 cc， 
从 而 结论 得 到 . 口 

最 后 ， 我 们 给 出 在 不 精确 一 维 搜索 条 件 下 画 数 f(x) 下 降 量 的 
信 讨 式 . 

定理 2.5.8 ho, 满足 不 精确 --- 维 搜索 条 件 (2.5.2), WRA 
数 f(x) 是 一 致 凸 画 数 ， 即 存在 常数 7 > 0, 使 得 


(y — FIV Fy) ~ VF) > nly ~ AIP, (2.5.18) 
或 者 存在 常数 m 和 M, 使 得 
mllyl? < yr V? f(e)y < Mllyll’, (2.5.19) 
WBA 


Fite) — flan + andy) 2 Talend (2.5.20) 


证 明 ”分 两 种 情况 讨论 . 
先 假定 dV Ee + onde) S0 这 时 有 


Flere) flr + onde) = | " dEV f(xy + tdy)de 
>f dJTIV fler + andy) — Vi (ae + tdp)]dt 
> — tydélld, ||? 
[lox = dtas 
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=Z nlora. (2.5.21) 


(IRM, (2.5.20) ar. 
Fy Ble aF f (xp = apdet > 0, 则 必 存 在 0 < a* < cx, 使 得 
dy Vf (ent atda) = 0. H (25.18), 有 


fax) ~ fen tardy) < 5 Mifo*dell’, (2.5.22) 


i ua 
firk 中 eegk) 一 f(zx 十 ady} > =li ‘en 一 ck Yar ||”. 
2 (2.5.23) 


ENF fle, tardi) < fize), HH (2.5.22) 和 (2.5.23) 得 


va . 
ap < (: + yer (2.5.24) 
m . 
AA tS 
Jier) — fleet andy) 2 ~a, pdt Vf (2x) 
on pd, IW f(x. + a*dy) 一 Yasjj 


= 
> npagetldg||? 
> 


rrm |l ay d .| 2 . (2.5.25) 
1 JMi ke el} pao e 


AS BE TY OE AE — AETR AT AE TA —- E eA OR BE 
%—- RRP SRE. 最近， Grippo 等 人 提出 了 非 单调 线性 搜索 技 
R 这 个 方法 不 要 求 每 一 步 线 性 搜索 产生 的 方向 都 是 下 降 的 ， 改 宽 
了 对 线性 搜索 的 楼 求 , 提高 了 线性 搜索 的 效率 . 感 兴趣 的 读者 请 参 
阅 Grippo 等 人 【1986] 文献 . 
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第 三 章 牛 M 法 


831 最 速 下降 法 


3.1.1 最 速 下 降 法 


最 速 下 降 法 以 负 梯 度 方 向 作为 极 小 化 算法 的 下 降 方向 ， 又 称 
梯度 法 ， 是 无 约束 最 优化 中 最 简单 的 方法 . 

设 函 数 (1) 在 zs 附近 连续 可 微 ， 且 gx = VS (an) 40. 由 
Taylor 展 式 


Fle) = flay) +(e ~ re) VF (xe) + ollle eil) (3.1.1) 


Al, Bib 2 一 a, = adr, MIE dig, < 0 的 方向 de 是 下 降 方 
Hl. Mo 了 到 定 后 ， dgr 的 值 越 小 ， 即 dP on WERA, BMF 
HIJE H Cauchy-Schwartz 不 等 式 


(di gx! < Ede ilgst (3.1.2) 


m4 Awd, 二 一 gx 时 ， dige 最 小 ， 从 而 称 -gs 荐 最 速 下 降 方 
向 . 
最 速 下 降 法 的 选 代 格 式 为 


Thkrl 5 Tk EOE: 


这 个 方法 的 计算 步 又 如 下 : 
算法 3.1.1 GER FR) 
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tel HE ra R”, 0 gel, ki:=0; 
下 2 GH da = --ge; WUE ligel] < 5, MIEP IL 
步 3 eA RP EF as, 使 得 


fOr, + weds) = min fig, + Adr) 
er 


步 生 计算 trpi =ar t ete; 
步 5 kis k +1, $625 2. 


3.1.2 #BET RR ae 


最 速 下 降 法 在 最 优化 中 具有 重要 的 理论 意义 ,现在 我 们 讨论 
EF Pe BN AC OE A Je BB e E E. 

定理 3.120 (RE FERAH EH) Pec’ 在 最 
PEEP RH A EREK PEE {2} 的 每 一 
聚 点 是 驻 点 . 

WEAR ETERA K 是 一 个 无 女 指 标 集 , 使 得 lim r, = &, 
$ dp = ~Vi (rx), BA FEC), APR {dd |k EK} 一致 有 界 ， 
dg lf = IVF 由 于 一 维 搜索 定理 2.2.3 KR, aH 
该 定理 得 到 上 了 (六 = 人 0 BY V F(z) = 0. o 

EE 3.1.2b {最速 下 降 法 总 体 收银 性 定理 ) eer f (ce) 二 次 
连续 可 微 . AV? f(a) <M. 对 任何 给 定 的 初始 征 zo 和 < > 0, 最 
速 下 降 算 法 3.1.1 或 有 限 终止 ,或 lim zx) = 一 00; 或 lim Vf (zx) 
= 0. . 

证 明 ”考虑 无 穷 选 代 上 去 的 咎 法 3.1.1, 出 定理 2.2.2, 有 


flax) 一 Fltezi) 2 sl Fal? . 
于 是 
上 
ffzo) — Fler) = > [FUz — friri) 
t= 
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kei 

1 ` fe 1 

> a 2 YA) (2.1.3) 
i=l 


MORRO PE ME lim fla} = 一 cc, 或 者 lim Vreni] = 0. 
ATE ER B 

E FRA EAEE DRET AEREE. PADA -- 维 
EWA fka E E PT eE 

定理 3.1.3 (KH TH TE- Se Be RY EE A E E) 

设 fe Cl. RETEA G1 0 — SRR AO R a. 
WAR AP {z} A + SE A 

WR EE eA GE RE 25.4 可 得 结论 . m 

MENA. 总 体 收 襄 性 并 未 能 保 江 最 速 下 降 法 是 一 个 在 效 的 
方法 ， 这 可 以 从 下 面 给 出 的 收 仑 速 度 分 析 中 看 出 . 

最 速 下 降 方向 仅 是 算法 的 局 部 手 质 . 对 于 许 密 问题 , 最 速 下 降 
法 并 非 “ 最 速 下 降 ". 而 是 下 壤 非 常 缓慢 数 信 试验 表明 ， 涯 且 标 函 
数 的 等 值 线 接 近 于 一 个 加 [ 球 ) 时 ， 释 速 下 降 法 下 修 较 快 ， 鲁 党 目 
AROS RAP RAS. A PEEP Lo T EE 
较 快 ， 后 来 就 出 现 锯齿 现象 ， 下 降 就 十 分 缓慢 . 其 原因 可 从 如 下 事 
Se. HP RE giidi =0, 即 


ght19k = dj dk = 0, (3.1.4) 


AE FE MASE PEAR EA f{z) 的 两 个 梯度 方向 是 世相 直 交 
的 ， 即 ， 两 个 搜索 方向 互相 直 交 ， 这 就 产生 了 饥 从 形状 ， 当 接近 极 
AAR. BRM, ABER. 

TE RNAAR BR ETE SP Re A SR RE, 然后 
考虑 一 般 情形 最 建 下 降 法 的 收 伍 速度 . 

当 和 站 标 函数 是 二 次 一 数 时 ， 基 速 下 降 法 的 收 伍 速度 由 对 应 于 
某 个 等 值 线 的 椭 球 的 最 长 轴 与 最 短 轴 之 比 决定 . 这 个 比 越 大 ,最速 
下 降 法 下 降 趣 慢 . 下 面 的 定理 表明 最 速 下 降 法 的 收 敏 速度 是 线性 
的 . 
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定理 3.1.4 (二 次 函数 情形 最 速 下 降 法 的 收 伍 速度 定理 ) ” 考 
虚无 约束 极 小 化 问题 ' 


min ffs) = 50" Ge, (3.1.5) 
ERG Enn HIRE, A HA, 分 别 是 G 的 最 大 和 最 


小 特征 值 ， 设 z* 是 问题 的 解 点 ， 则 最 速 下 降 法 的 收 化 速度 至 少 是 
线性 的 ， 并 且 下 面 的 界 成 立 ; 


Hea 人 Oo 


fan Je) < (wri) rin) 310 
ller- 2° |] (x — 1)? l 
T e] SRNE (3.1.7) 
Ep, 上 一 A1A An- 
证 明 AF 
gír) = Gr, (3.1.8) 
ik a 
Tk+i 二 (了 一 CpG Ep (3.1.9) 
其 中 ax 使 得 
FUT- apG)rp) < JU — aGz Ya. (3.1.10) 
设 
P(t)=1—axt, QU) =À- ut, (3.1.11) 
其 中 ， 入 peE 吾 是 任意 的 ， 由 (3.1.10) 可 知 
f(T ~ onG)ex) < F (1- $ G)er) 
A PIG) QG) 
Fleng) = (Se; DESI a0 xr). (3.1.12) 
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特别 地 ， 选 择 AL, 使 得 


QQ) = i Qa) =-1. (3.1.13) 
解 之 得 “Ont ay o 
As, u= (3.1.14) 
ATE 
Q(t) = E 元 An) (3.4.15) 


HG MRE. W G 的 对 应 于 al =i n) 的 特征 向 
Bia (Shon) RIET, 不妨 候 定 (u) RARER A E 
系 ， 满 足 uus 65.49 l peon PÆ, 存在 af 全 = 1 


使 得 a 
ay = Sahay, (3.1.16) 
i=l 
利用 (3.1.12) , 2a 和 (3.1.16) 得 到 
(26 /QIG) 
Flzegi1) S = 3{ (SD e) “af Q(0) zx) 
bet afa 
=; DE ar Tao AOT GGJ) 
ROF SE UPPROP. (3.1.17) 
izl 


由 于 RADI & lis l,i it 
F(@e41) S FOr 》 (aY A (3.1.18) 
i © iml 
又 由 (3.1.5) 和 (3.1.16) 可 知 
Far) = 5 J (aP) 
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THARA 


将 其 代入 (3.1.18), 有 
f (zr) 


Fran < BOF (3.1.19) 
而 从 (3.1.15) 
Ror = (Pte), 
i 2 
HETES (= 7 za) flax), Yk BO. (3.1.20) 


{E 0 < (A, —A, 3/04 + An) <1, MAT H k + oo bf, fies) 一 0. 从 
ERRARE SHMAc=ON, f(x) =O 又 由 于 在 r=0 
ab PES, Ako 时 ， 2, 30. 因为 xz* = 0, 四 此 我 们 得 
到 : Aree Ee ro RR EEE fre} 收 
aT f ROMER ot = 0. 注意 到 f(e*) = 0, (3.1.20) BHA ATR 
的 第 一 个 不 等 式 [3.1.6). 

下 面 我 们 利用 (3.1.20) 证 明 第 二 个 不 等 式 (3.1.7)， 设 ex = 
x, —2*, Vk 20. ERB G ASEH. i 


Anel ek < ef Ger < Meler. (3.1.21) 


HF a* = 0, M 
el Ger = 2] Gry = 2f (zkh 
这 样 ， (3.1.21) 成 为 


Aallre — 27" < 2 fen) < Aljer mz 3.1.22) 


反复 利用 (3.1.20) 得 


2k 
f(z} < (X =) f(xo), vk 20. (3.1.23) 


Ai 十 An 
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再 将 上 式 中 的 fher) 和 f(eo) 用 (3.1.22) RE, 4 


<- 2 Ay 一 An © AL — tl? 
Ait An 2 j | 


JHC BY AR Sp 50 (3.1.7). 30 FEA RF A Ty RPE Oe EP. 
GR, E314. WEA pE F- A 


lop . 
f(z) = ze Gxt blz (3.1.25) 


BY G fi nx nm RRR EEE, MEHZ CLARA Tee 
3.1.4 同样 成 立 ， 进 -- 步 我 们 还 要 指 山 ， 利 用 本 1 1 最 后 附录 中 给 出 
的 Kantorovich 不 等 式 

(rT 2)? Ad An 


may [2 -一 3.1.26) 
(aT Gaja G ta) * Da F An)? (3.1.26) 


其 中 A MA, 分 别 是 nxn HRE G 的 最 大 和 最 小 特征 
fi. ee R” ERA, 我 们 可 以 更 方便 地 证 明定 理 3.1.4, EHE 
得 到 (3.1.6) #0 (3.1.7). 
定理 3.1.4 前 证 明 (证 法 2 利用 Kantorovich 不 等 式 ) ”我 们 
考虑 (3.1.25) 表示 的 二 次 目标 函数 . 显然 , 极 小 点 x+ 满足 Cr =b. 
引进 函数 
F(a) = He ~- a") Gla ~ 2°), (3.1.27) 


可 知 ， Ble) = fle) + ZTG, 即 Ble) 与 fle) 仅 相差 ~- 个 
常数 ， 为 方 全 起见， 我 们 用 极 小 化 B(x) 来 代替 极 小 化 J(e). h 
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min f(t — agr) 可 得 极 小 化 二 次 函数 的 最 优 步 长 内 于 


T 
— fk Gk (3.1.28 
于 是 ， 这 时 最 建 王 降 法 的 显 式 形式 为 
r 
qr Ge “ 
x = zg ~— Jka 3.1.29 
k+1 k Gg” ( ) 


其 中 % = Ga, 一 上 由 直接 计算 可 得 


Bian) — Beets) 
Eze) 


1 , 
{ru 一 a*\" G(r | 5 (24-1 ze Gjer — z+*) 


1 ， 
5 (xy —2*)" G(x, ~2*) 


令 ex = a, — =", HHAIA gx = Grr -b = Gek, 有 


E(x.) — Elzer) _ Zang, Ger 一 Org Gon 


Elza) ep Ger 
_ 2(9 ax) /9f Gon 一 (oF ge) /gl Con 
gi Gla 
= (oF on) / [oF Gon) (gf 9x) J, 
(3.1.30) 
利用 Kantorovich 不 等 式 (3.1.26) x4 78 
4ANIAn 
at) < 41— tte Ne, 
E(tn41) fi Ou + dn)? \ nas) 
_ fr -An\? 
= & =] Eler). (3.1.31) 


由 此 立即 可 知 ， 呈 zk 30. 注意 到 G 是 对 称 正定 ， 从 而 zk r”. 
BR, (3.1.31) 也 可 写成 


2 
flrs) < ($) flex), (3.1.32) 
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此 即 (3.1.20) 或 (3.1.6). 下 面 绸 按期 证 法 一 中 的 方 尘 重 可 从 (3.1.6) 
得 到 (3.1.7), 口 

当 目 标 函 数 从 二 次 情形 推广 到 非 二 次 情形 时， 最 速 下 降 法 的 
收 化 速度 也 是 线性 的 ， 

定理 3.1.5 i f(z) 满足 定理 2.2.8 的 假设 条 件 ， ARP 
BERRA PE UR SE {ri} KAF e", 则 它 至 少 是 线性 收 伍 ， 

证 明 ”利用 定理 2.2.8 立 得 . 


ERAT RR, RT MA 3.1.1 的 收效 速度 定理 也 


可 叙述 为 
定理 3.1.6 。 设 最 速 中 降 法 产生 的 点 列 {zx} WOE e, f[z) 
在 x* 附近 二 次 连续 可 币 ， Vi (2") = 0, Ve) 正定 ， 则 


frr) — fle") 


Flan) fey ~ <1 (3.1.33a) 
a M-m 

limsup Br < — F <1. (3.1.33b) 
其 中 M Aim 满足 

O<medn <i <M, (3.1.34) 


An = An(V?F(@)) A AL = ACV SHAE VPP (2) 的 最 小 与 最 
AREA. 
证 明 ”由 定 埋 2.2.2, 有 


(flr) — f(2")] -zi — fz] = Hex) ~ 一 了 (zk 


2 
> zzlv f(a) 


此 即 i 
(= 4) i flee) — fla*)] > > gag lV Flea) 7: 
KE 


IVE a, (3.1.35) 


3, &1- 
Sl- a [Fe FEN * 
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由 很 设 可 知 ， 显 然 存在 正 数 Mm 和 5, 使 得 当 x 满足 lz 一 
x < 6 时 ， (3.1.34) 成 立 ， 
PEE (ze —2*)/llex 一 六 | 9d. RATA 


IV flex = lee -æ “i? (iV? F(a" idl? + o(1)), 
flax) — flz*) Siera il aT V? flen )d + o(1)) 
利用 上 述 两 式 和 (3.1.34), 得 


orl lv) 
e= flar) fe) “GFW? F(a") 


> 2m. (3.1.36) 
Fa (3.1.35) 和 (3.1.36) 立 得 
, IV f x) ||? 
Jim sup Bx <1- jm inf Ifans) — fen fey 
m 
sl- ‘7; «i 


定理 证 毕 . a 

Barzilai 和 Borwein (1988) 提出 两 点 步 长 梯度 法 ， 其 基本 思想 
是 利用 选 代 当前 点 以 及 前 一 点 的 信息 来 确定 步 长 因子 ，、 选 代 公 式 
ZE41 = Te — kx 名 以 看 成 是 


Ekti = te 一 Dkk: 


其 中 Dy = an 了 是 一 个 矩阵 ， 为 了 使 矩阵 Dr AA HE W 
BE AYES BW), 计算 or 使 得 


min ||sk-1 一 Deye—14, 
或 者 
min || Dysk- — yx-1l|, 


其 中 ， 


Sk- = Ek - ©k-1, Vk-1i F fk — Hk—l: 


， LF > 


于 是 ， 可 分 别 求 得 


On = Sh_1 yp Ny (3.1.37a} 
友 
ak = lsr- /sk yk. (3.1.37b) 
算法 3.1.7 {两 点 步 长 梯度 法 】 
步 1 ei xo CA", O ce HLA =O; 
步 2 TH dy = -gi WR lgl Se, WIL: 
步 3 wR k= 0, 利用 一 维 搜索 求 ao; 否则 ， 利 用 (31.378) 
或 (3.1.37b) 计算 ax. 
步 4 Eki = Ek + ORE: 
步 5 kia k+i, Feb 2. 3 
Barzilai 和 Borwein (1988) 证 明了 上 上述 算法 是 五- MU 
的 . 


3.1.3 MM: Kantorovich 不 等 式 


定理 3.1.8 (Kantorovich FÆR) HG 为 nxn 对 称 正定 矩 
阵 ， 其 特征 值 为 AL 2 > Anm 则 对 任何 E R, 总 成 立 不 等 式 
{at z)? 4a A, 
(aT Gayet Gle] A+ An}? 
证 明 [证 法 一 | BON BR IRAE RERE G 的 谱 分 解 为 


G=UAU, 


(3.1.38) 


Sen Uy, 则 得 


(Te)? (yTy) 


(aT Gaet G-a) (yT AyyTA ty) 


(Ža) 


(È aat) (u/s) (8.1.39) 
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$ 2 
Yi , 1 f 
Ei = -a ， + P(A) = x (3.1.40) 
3 ¥# 
i=1 
my) 
了 
(x? x) 1 . {3.1.41) 


[GajerG © ($ ve} (= ores) 


FRA ¢ EATE (3.141) 的 右 端 . 设 


tt "i 
Ax 》 Abin Ag = D PAGE. 
i=1 i=] 


HF é; 20 Gi =1,---,n), Se 1, An SALA 这 样 每 个 入 
i=l 
BR) ena A 与 和 x NP Aa 


Mi 入 一 入 
A) < pa) + SO 60), 
pt } X xe ae ` A), 
于 是 ， 
7 Ai 一 Ag 7 An 
Ag & n 4 i 
_ n Ai + An Aig. 
i=1 MAn | 
Ay + An = A 1 
-一 (3.1.42) 
Hi (3.1.41) 
(æT r)? 1 AlAn 
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AtAn 4A An 
max rrr + An 一 A} i + An}? ' 


AEA An] 
[证 法 二 | ”由 证 法 一 中 (3.1.41) 有 
a 1 /2 i a pE 
(aT GrHrT Gir) = TL 1 一 WE 
of Ay 


HH & = w/ 二 yz. 显然 二 1. 如 图 3.1.1， Ee 是 AY 


me ERRAD FA. 之 间 的 点 ， 其 倒数 在 曲线 上 . ae 


R - Ee 因为 二 HA EAA. 内 此 , E ERRE n 个 上 
的 的 组 全 它 的 值 在 阴影 区 城 对 于 同一 个 = 全) 
AA W (E) DEER- RRL, REH 2 (E/E 达到 极 小 ， 印 
P'E ERRE V(O 在 最 . pees 而 最 上 面 的 边界 是 


6 二 -二 和 元 } 


BRR € = (4),0,->-, 0,97, 这 样 Ben = fii H EnAn. A= 
SA + EnAny 7# 
17 + ba = ($i An + En AiAi An 


一 KI ~ En jn + (1 ~ EtA] Aran 
= (Aq + An 一 Ey Ay 7 EnAnI A An 
= (Att An — AA Ans 
Lag 
a v' (8) i/A 
一 Min ~ ， 
we) ”AS 有 AAA + An — ANAA 
对 上 式 右 过 求 导 ， 并 令 其 为 零 得 和 = {A + An) /2, 所 以 ， 


7 (ew? 2)? — (8) < ATIAm 
ig? Gayet Gota) PpO 7 (Aya An)?” 


832 # W 法 


和 牛顿 法 的 基本 思想 是 利用 目标 函数 的 二 次 Taylor 展开 ， 并 将 
SCAR E. 

f(z) COKE BM, e E R", Hesse 矩阵 V? f(xy) IE 
定 . 我 们 在 zk 附近 用 二 次 Taylor eA f, 

Flee +3} = qs) = fier) + VF (an) s+ LT? Feeds, (3.2.4) 
其 中 ， s= rar Pl A fla) 的 二 次 近似 将 上 式 右 边 极 小 
wE E% 

TkE+1 一 Tk 一 [VEA] VF (ae), (3.2.2a)} 
这 就 是 牛顿 法 选 代 公式 . 在 这 个 公式 中 ， 步 长 因子 a = 1 $ 
Gy = V7 Flare), ge = VF (ee), W (3.2.2a) PHS A 
They = Ek — Gyan. (3.2.2b) 
ER, PTS Te AE RE || - Ilo, 下 的 最 速 下 降 法 ， 
事实 上 ， 对 于 fe, ts) = flee) +ofs, si 是 极 小 化 问题 
“Tin gk 
ack” ||sll 


(3.2.3) 
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的 解 . (3.2.3) 的 解 依赖 于 所 取 的 范 数 ， 当 采用 范 数 时 ， 
Sk = —gk, 
所 得 方法 是 量 速 下 降落， 当 采 用 椭 球 范 数 ‖ - IIo, HY. 
sk 一 —Gy' ge, 


所 得 方法 是 牛顿 法 . 

对 于 正定 二 次 梢 数 ， 牛 否 法 一 步 即 可 达到 最 优 解 . 对 于 非 二 次 
函数 , 牛顿 法 并 不 能 保证 经 有 限 次 近 代 求 得 最 优 解 , (A A 
数 在 极 小 点 附近 近似 于 二 次 函数 ， 故 当 初始 点 靠近 极 小 点 时 ,和 牛顿 
法 的 收 生 速度 一 般 是 快 的 ， 下 面 的 定理 证 明了 牛顿 法 的 局 部 收 笋 
EE AU — Bir ee RS. 

定理 3.2.1 {牛顿 法 收 伍 定理) BLE CO), a, 充分 人 靠近 r, 
Vi (ot) = 0, MS V2fiz*) 正定 , H Hesse KpE G(x) 满足 Lipschitz 
条 件 ， 即 存在 3 > 0, 使 得 对 所 有 ij 有 


(Gule) ~ Ga (| < Alle — yll. (3.2.4) 


其 中 Gule) 是 Hesse 矩阵 G(r) 的 (站 元素。， 则 对 一 切 k Pin 
法 迭代 (3.2.2) 有 定义 ， 且 所 得 序列 {r} KB 2*, 并 且 具 有 二 阶 
HARE. 

[证 法 一 ] H hr = aye — 2", g(x) = Vfl). Cle) = VF, 
Sk = Vi (ar), GE = V2 fF (ax). 由 ‘Taylor 公式 ， 

gis") = gr +h) = ge + Grh + OW) 
&h=—hy, 得 
O = g(x") = gr ~ Gabe + O (|ihal?). 
由 于 JEC, xx ASEM 2" 和 G* = V27(z*) ER, TE rg 
在 z* 的 邻 域 中 ， 且 Gi EE. Gp 上 有 界 ， 于 是 第 不 次 牛顿 过 代 
AE. AG, JED Ew, B 
0= GE gr ~ hg + O(h} 
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= 8 — he + O (ilhali) 
= hejt + OUl) 
出 OO 的 定义 可 知 ， 存 在 常数 C, 使 得 
上 ii 所 WaslP2， (3.2.5) 
着 zeetzllalgy/csye(taD} WE 
lenll 了 as (3.2.6) 


从 而 raga € fx | |All <4/C,y € (0,1)}. UAE, ERINA k 
有 定义 ， 且 | 0. REER (3.2.5) FEO Oto RE a 
阶 的 . D 

[证 法 ] 二 ”我们 有 ri = ta- [Gla] g 2 Aler). 注意 到 
g(a*) 二 9, Gtz*) FESR. MM Ae) = 2*, RA 


Tk+1 一 z*= A(zx) 一 Afr”). 


. FE, 


[err — "|| = |] A(ag) -Aal 
< ACen) (me = | + lA les eh, 
其 中 至 位 于 e" 和 zx 之 间 的 线段 上 .由 于 
A(z) = —{[G@)]"}'9(@), 
故 AMa*) = 0. 这 样 ， 
和 seo 站， 


RF c 依赖 于 f(x) 丰 x* AHS RR. o 

应 该 注意 的 是 ， 当 初始 点 远离 最 优 解 时 ， Gi 不 一 定 正定 . F 
项 方 向 不 一 定 是 干 降 方向 ， 其 收敛 性 不 能 保证 .这 说 明 恒 取 步 长 
因子 为 1 的 牛顿 法 是 相合 适 的 ， 应 该 在 牛顿 法 中 采用 某 种 一 维 搜 
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索 来 确定 步 长 因子 ， 但 在 应 该 强调 ， 仅 当 步 长 因子 {ox} KAE 1 
时 ， 午 顿 法 才 是 一 阶 收 人 敏 的 ， 这 时 牛顿 法 的 夺 代 公式 为 


dy = Gy gr, (3.2.7a) 


Thtl = Ek + Ande, (3.2.7b) 


其 中 a, 是 一 维 搜索 产生 的 步 长 因子 . 
算法 3.2.2 ( 带 步 长 因子 的 和 牛顿 法 ) 
步 1 选取 初始 数据 , 取 初 始点 zo, 终止 误差 6 > 0, 令 上 := 0. 
步 2 计算 gr. A lgl < es, 停止 迁 代 ， 输 出 ce, 
否则 进行 步 3. 
HS MATRA PMT, BA Grd = -gr 求 出 de. 
步 4 进行 一 维 搜索 ， 求 xx 使 得 


fle, —oand,) = min fle, + ads), 
A ten = Ee + edk, kimk 4+ 1 HH 2. a 
“PW FR {PY WE BA a a SY OO. 
定理 3.2.3 827: ROR ARR DH OM ESAT A, 
ANER zo E D, 存在 常数 m > 0, 使 得 fle) 在 水 平 集 Liro) = 
{| f(x) < f(zo)} 上 满足 


uw! V? fleu > milull?, vue R™ re Lixo). (3.2.8) 


MERR- RERET ARKA TAIA ive E RE A 
{z} 满足 

(1) 当 {ae} SERAF. HET RFT ge = 0; 

(2) 4 {zw} 为 无 穷 点 到 有时， {on} KRE 了 的 唯一 极 小 点 ot. 

证 明 ”首先 由 【3.2.8) 知 f(z) 为 R LARGAR. Am 
其 平稳 点 为 总 体 极 小 点 ， 且 是 唯一 的 . 

MBAR FF BY KF Loe) BAA, 由 于 fiee) 单 
调 下 降 ， 可 知 {za} C Leo), W dr) BHAA, 于 是 存在 被 限 点 
EE L(x), zk + T. X flor) PMA ER, ke fler) f(z). 
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根据 精确 一 维 搜索 极 小 化 算 污 的 收 兽 定理 2.2.4, 有 gk 一 gE) = 0. 
由 于 平稳 点 是 唯一 的 .页 {xx} eae F. 口 
类 似 地 ， 如 果 一 维 搜索 满足 


fen) Her + andy) 2 Fligel? cos” (dr, ge), (3.2.9) 


WU BR aE eA, EF EP ke ER A 

定理 3.3.4 KP R" + REAR D PIM BATA. 又 
设 对 任意 so COR”, 存在 常数 m > 0, 使 得 f(r) 在 水 平 集 Lag) = 
{e | fle) < f(zo}} LW (3.2.8)， 则 在 一 维 搜索 (3.2.9) 的 条 件 
下 ， 牛 顿 法 产生 的 点 列 {on} 满足 


Jim 7 f(z =0, (3.2.10) 


R ize} WRF f(x) 唯一 的 极 小 点 . 

证 明 ”因为 f(x) 满足 3.2.8), 则 flz) 在 Lizo) 上 一 致 邮 ， 
H (3.2.9) 知 F(a) 严格 单调 下 降 ， 故 {on} 必 有 界 ， 从 而 让 在 常数 
M> 0, 使 得 


[VI feri] < M (3.2.11) 
对 一 切 眉 成立， 从 (3.2.2), (3.2.8) 和 (3.2.11) 可 知 


me 
cos(d.. 一 = — kt 
(de 90) = Taila 


IEVP fley oe 

[V2 F(zn) -gellil gs 
dV fierde om 
~ WIell|| V2 Fea )dal] M 


(3.2.12) 


因此 得 到 


oe 2 
co > SUF laa) ~ flees) 2 oo， (3.2.13) 
k=0 


k=) 


-从 而 得 到 (3.2.10). 


由 于 f(z) Bo. WE AAP REA, FEA (3.2.10) 可 
St {on} Wee flo) 唯一 的 极 小 点 2*. E 


533 修正 牛顿 法 


午 顿 法 面临 的 主要 困难 是 Hesse KARE Gx 不 正定 . 这 时 候 一 次 
模型 不 一 定 有 极 小 点 ， 黄 至 没有 平稳 点 ， 当 Gi 不 定时 ， 二 次 模型 
PRAY ETC HY. 

为 了 亮 服 这 些 困 难 ， 人 们 提出 了 若 于 修正 措施 ， Goldstein 和 
Price (1967) 提出 一 种 修正 办 法 : 4 Gi 非 正定 时 ， 采 用 最 速 下 降 
-方向 -ge 如 果 将 这 种 处 理 方 法 与 角度 准则 


@< 2p, WEP E> 


| 2 
结合 起 来 ， 给 出 
di = { dy’, 如果 cos (dy, =g} > ni 
-9kx; 


其 中 % > 0 是 预先 给 定 的 形 常数 ， 这 样 ， 搜 索 方向 di 总 满足 
cos (dy — gx) > 7. 


从 而 算法 的 收复 性 是 可 保证 的 . 

Goldfeld 等 人 (1966) 提出 了 另 一 种 修正 牛顿 法 . 这 种 方法 不 是 
用 最 速 下 降 方向 代替 牛顿 方向 , 而 是 使 牛顿 方向 偏向 景 速 下 降 方向 
-gk 更 明确 地 说 ， 就 是 将 模型 的 Hesse HERE Gr 改变 成 Ga + vel, 
其 中 vw > 0, 使 得 Ge 十 vf 正定 . 比较 理想 的 是 ， wi RBA AF 
使 Gx 十 v1 正定 的 最 小 的 v 这 个 方法 的 算法 框架 如 下 ， 

算法 3.3.1 (Goldfeld 等 人 修正 牛顿 法 ) 

给 出 初始 点 zo CR". 第 天 步 先 和 代为 

(1) 令 Gr = Go 十 不 了 其 中 


vy, = 0, WE Gre 正定 ; 
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m > 0, GÈ (3.3.3) HH oy), 和 否则. 


(2) 计算 Ga 的 Cholesky 4%, Gr = Le Delf. 

(3) 解 Gud = 一 gx 得 dg. 

(4) È capi = Ek + de. 口 

上 上 述 算 法 中 的 vw 应 按 模 稍微 大 于 Gx 的 最 负 的 特征 值 ， 我 们 
建议 按照 Gill 和 Murray 的 修改 Cholesky 分 解 算 法 确定 ve. Sik 
对 Gr 应 用 Gill 和 Murray 的 修改 Cholesky 分 解 算 法 得 到 


Gi +E = LDLT, (3.3.1) 
WE E = 0, $ n = 0, WR E AO, 则 利用 Gerschgorin BEE 
计算 n 的 一 个 上 上 界 加 ， : 


|, . 
bi = | min | (Ges 一 》 Keval) 2 in ri 


lži 
= 了 


. (3.3.2a) 


Rat, $ 
by = max {ei}, 其 中 eu 是 ENB itn AT, (3.3.2b) 
EEE n 的 一 个 上 界 . BANS 
Vk = min{by, ba}. ， (3.3.3) 


ZKE ET LA A eR RR, Ee RA 
还 将 继续 讨论 这 类 方法 ， 

基于 Cholesky 分 解 的 另 一 种 策略 是 : 先 形成 Gk 的 Cholesky 
分 解 LDL’, 然后 定义 Gk = LDLT, 其 中 du = max{|dj;\, 6}, dj; 
为 DD 的 对 角 元 ，5 蚌 菜 个 给 定 的 小 正 数 . 但 是 , 这 种 处 理 方 法 有 两 
个 主要 人 缺点: 第 一 是 对 称 不 定 和 矩阵 的 Cholesky 分 解 可 能 不 存在 ， 
第 二 是 即使 这 种 分 解 存 在 ， 其 计算 过 程 一 般 也 是 数值 不 稳定 的 ， 
因为 其 矩阵 分 解 因 子 的 元 素 可 能 是 无 界 的 . 进一步 ， 当 Gi 仅 是 稍 
微 不 定 的 ， 用 这 样 的 方法 产生 的 G% 也 可 能 与 Gk MEK. Ain 


1 1 2 
Ge= 1 1+10-2 3], (3.3.4) 


2 3 1 


-= 127 + 


其 特征 值 近似 地 为 5.1131， -2.2019 和 0.888. Gy 的 Cholesky 分 解 


为 
1 0 0 1 0 0 
L={1 1 Of], D=[o 107” 0 . 
2 10% 1 AD 0 (3 +1679) 


利用 上 面 讲述 的 方法 产生 的 Gk 与 Gx 的 偏差 |Gs — Galle 的 阶 达 
到 1020. 

Gill 和 Murray (1974) 提出 了 一 个 数值 稳定 的 处 理 方 法 ， 从 
Ge 的 修改 Cholesky 分 解 形成 Ge FAIR. SERIE ERM 
Cholesky 分 解 可 以 描述 如 下 : 


dij = 933 — Y dss, (3.3.5a) 


lig - j (s - Faull uw): i 安 了 十 1. 
(3.3.5b) 


这 里 pj RAR Gk My R, yg 表示 D 的 对 角 元 . 现在 ， 要 求 
Cholesky 分 解 因子 二 和 了 满足 两 个 要 求 : 一 是 的 所 有 元 素 要 
严格 于 的 ， 另 一 是 分 解 因 子 的 元 素 满 足 一 致 有 界 . 也 就 是 说 ， 对 于 
k=l eon 和 某 个 正 数 B, 要 求 


dyk > SF ral < Bi>k, (3.3.6) 


其 中 辅助 量 rin = lan Tens 6 是 某 个 给 定 的 小 正 数 . 
下 面 我 们 描述 一 下 这 个 分 解 的 第 7 步 .假设 修改 Cholesky 分 
解 的 前 了- 1 列 已 经 计算 ， 对 于 此 = 1,…,j 一 1, (3.3.6) 成 立 ， 先 


计算 ja 
-Y desah (3.3.7) 
4 一 1 | 
EPEE gy 试验 值 RA 
a = max{y;,6}. (3.3.8) 
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其 中 5 是 一 个 小 的 正 数 ,为 了 断定 是 区 可 以 接受 作为 DD 的 第 7 
DR, RIIK 7;; = lyvd ETME (3.3.6), GRE, MS 
di; = d, IEAI ly = ry ydyn 得 到 工 HB j y EM, 


gol 
2 
bj 7 Yodel, : 
eo] 


其 中 取 i = 957 + eg ARER e 使 得 max | = 38, FAP 
生 工 的 第 了 列 ， 
当 上 述 过 程 完 成 时 ， 我 们 得 到 正定 睹 阵 Gx 的 Cholesky 分 解 


G, = LDL" = G,+ E, (3.3.10) 


dj, = 


(4.3.9) 


RHH E RRR A, WAJAN ey. 对 二 给 出 的 Ga PEO 
AR E 依赖 于 3 Gill 和 Murray TEKH: WME an > 1, We 


E(B)lo < (E +m- pa) +2 a-e), (8.3.11) 


其 中 是 Gx 的 非 对 角 无 的 最 大 模 ，Y 是 Gi HO AMA. 
P= ef vn? 一 1 时 ， 上 面 的 界 被 极 小 化 .因此 取 8 满足 


P= max {¥, Ef Vn 一 1, ens } (3.3.12) 


其 中 em 表示 机 器 精度 .增加 em 是 为 了 防止 (Gli 很 小 的 情形 . 
下 面 我 们 给 出 修改 Cholesky 分 解 算 法 , 其 中 辅助 量 ci, = lindas, 
SH] j isj n ERS, EPR 
矩阵 Ge P. 
算法 3.3.2 (修改 Cholesky 分 解 ) 
步 1 计算 分 解 因子 元 素 的 界 . 令 P = max{7%,t/v,em} 其 
P v= max{l, vn? -1}.7 ME SHE Gi 的 对 角 元 
和 非 对 角 元 的 最 大 模 ， | 
#2 ” 初始化. 仿 j 了 :二 1, ci = gu, i= lon. 
步 3 求 最 小 指标 gq, FEE legal = Rax lezl, 交换 G Ho A 
FGT g 列 和 3 列 的 信息 . 


129 - 


步 4 A LET, R ludy 的 最 大 模 ， 
令 lja = cjs/ dsa, s=1, uj h; 


了 一 1 
计算 oj = gy- Secs i=j +1 
a=] 


4> a; = max leas], 【如 果 j = Ħħ, 令 a; = 0). 


jrigign 


dy = mex {6 leh 8/3") 


E 的 对 角 元 修改 为 Ej = dj; 一 Cj UR J =n, ib. 
#6 校正 对 角 元 和 列 指标 : 
$ ca = ca ehd i=j bn 
令 了 := 了 十 1, 转 步 3. o | 
EMRE Cholesky 分 解 的 计算 量 大 约 为 a” 次 算术 运算 ， 
与 正定 情形 术 修 改 分 解 的 计算 量 大 约 相 同 ， 对 于 (3.3.4) 中 给 出 的 - 
Gr, 由 以 上 修改 Cholesky 分 解 可 得 8 = 1.061, 


1 0 0 3.771 0 6 
L = | 0.2652 1 O01, D= 0 5.750 G ， 
0.5303 04295 1 g O° 1.12] 


2.771 0 0 
È 一 0 5.016 0 - 
0 0 2.243 


这 样 产 生 的 Gy 与 Gk 的 偏差 为 | ~ Galle = |El r = 6.154. 由 
于 在 修改 Cholesky 分 解 Ga = LDLT ih, dj; > ô, 这 保证 了 在 修 
改 牛顿 法 中 得 到 的 矩阵 G, = Gi + Er 是 正定 的 ， 其 条 件数 -- 致 有 
界 ， 


Gl ler | <s &>O. (3.3.13) 
这 样 ， 我 们 有 
Vi (xg)? 
“Taal > EIYE) (3.3.14) 
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在 不 精确 … 维 搜索 的 条 件 下 ， 出 (2.5.13), 可 得 {Vice 收效 到 
F. 因此 我 们 有 如 下 修改 牛顿 法 的 收敛 定理 . 

定理 3.3.3 Jo DCR œ REFE D LORA 
Mo KFE NQ = {a | fiz) < Jlro) 是 紧 的 ， 如 果 序 到 {r} H 
Gill-Murray 修改 和 牛顿 法 定义 ， 导 各 


,im VIz = 0. (3.3.15) 


§3.4 有限 差分 牛顿 法 


有 限 差 分 牛顿 法 是 在 牛顿 法 中 利用 有 限 差 分 作为 解析 导数 YY f(x) 
和 VISE) 的 近似 . 
我 们 先 考虑 解 非 线 性 方程 组 
F(x) = 0. (3.4.1) 
HOR Rs R SSM. Rm 
| 解 ”Jlzijd = —Fla,), $ dy 


令 akpi = fy + Od 


(3.4.2) 


其 中 Jier) 是 五 在 zx 处 的 Jacobi HIME. ~4 J (ao) 不 可 利用 时 ， 我 
们 可 以 用 有 限 部 分 近似 代替 Je). 在 适当 的 条件 下 ， 牛 囊 污 的 二 
Br cae HES A] ER FE. . 

定理 3.41 BWP: E 一 EERDE DCR 上 连续 可 

w, BETE z* CR" Hr, 8 > 0, 使 得 N(2*,r) cD, F(x*) = 0, 

J{iz*) | 存在 且 满 足 [Hr s a, JE Lip, (N(z*,r})h Bl J Æ 

邻 域 N(z*,r) = {x € R” | |e —2"}| < r} 上 Lipschitz SE. Fp 
么 存在 €,h > 0, 使 得 如 果 {hr} 是 满足 0 < |hx| < h 的 实 序列 ， 
zo E N(2*, ©), WH ARR DAMAN 

(ay), EC hae) - Flex) 

ke 


Zipi = Th — Ap F(x,), &=0,1,--- 


(3.4.3) 
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-产生 的 序列 ware, RATE LH, PREKAT a. 如 果 


lim hy = 0, 
k—0 


WU ie i AR PE 如果 存在 常数 ci, 使 得 

til < liz — 27], (3.4.4) 
或 等 价 地 ， 存 在 常数 co. 使 得 

lAr; & callF Cre) (3.4.5) 


Sue Be EY BY. 
WEAR 选择 = 和 A, 使 得 对 于 zk E NN(z*,e), Ap TES HR, 
[Rel] < R. wesr A 


. eth < 1/234. (3.4.6) 
我 们 利用 归纳 法 证 明 
lern ~2°|| < 5 Ilan — a*l (3.4.7) 
zt 
rrr € N{z*,£). (3.4.8) 


WE k= 0, 首先 证 Ao SE Gy He. 利用 假设 条 件 和 定理 1.2.16, A) 
yh 
J(z) < E 


Ce) [do ~ J(a*)] || SEH 一 re 


+ [J{zo) F] 
1 


<a(7 十 ye} £$ 3 (3.4.9) 


由 Yon Neumann 引 理 1.2.3 可 知 Ap PARA |AS || < 28, 因此 ， 
a HEXA 


aor 一 -AZ| F (29) + zo 2 
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= Ag*{[F(@") - Pleo) ~ F(a) (2" —20)] 


+ [(J (au) ~ Aa)" — z0)]}. (3.4.10) 
iy 
lær — |] <i A HEE ~ Feo) — Tro) te” - æo) | 
+||4o = J{æo)llljæ* — soll} (3.4.11a) 
<28{ Fie" - zol? + 5a)eo ~ s*il} (3.4.11b) 


<By{¢ + le’ ~ zal 


1 
<5 lizo 一 到 上 (3.4.12) 


由 归纳 法 即 得 (3.4.7) 和 (3.4.8), ER RZA T EUT A RENE 
fe EEE a A PRA BY BBE || Ay Jlro 有 一 个 改 
进 的 界 . 因此 ， 当 lim hy, =O. (3.4.11) 中 第 二 项 趋向 于 堆 ， 从 
it k + oo 时 ， 
| ies =- z*i] 
Ilex z* | 
AERA. 类似 地 ， 从 (3.4.11) 可 以 看 出 ， 当 (3.4.4) 满足 
时 ， 方 法 是 二 次 收 伍 的 ， 最 后 利用 定理 1.2.15, 


alje — al] ge) — FO < She — uli, 


+ 0, 


可 得 (3.4.4) 和 (3.4.5) 的 等 价 性 ， D 
对 于 无 约束 极 小 化 问题 


min f(e), (3.4.13) 


如 果 Vr) 可 以 利用 ， 我 们 只 要 用 有 限 差分 近似 Hesse HPE. jà 
RY. FS RARE: 


(A); = V fle, + mit) ~V Flee) 


=1,---,n, 


a a EtA (3.4.14b} 
其 中 

hy = /qpmax{ |x; |, 2; }sign(z,), {3.4.14c) 
这 里 2 为 用 户 给 出 的 典型 合计 俏 ， 7 大 于 机 器 精 订 ， 它 是 计 算 
V fle) Hf rte RZ. 


Teri = ty — AL VF lan). (3.4.14d) 
在 定理 3.4.1 RHEE, Ga, 满足 
iE 


MAP A BRE a LE (3.4.14) REPO. 
24 Vre) 不 可 解析 计算 时 ， 我 们 有 Hesse 近似 为 


h, = O(||ze — *| 


(Arli 
_ [flex ~ hei + hjej) — Flex + hiei)] — flea + Ayes) — fier) 
hihj (3.4.15a) 
Hh 
h; = ni max{ix,|, Z; }sign (£) (3.4.15b) 
或 
hy = fa zi， 三 是 机 器 精度 . [3.4.15c) 
当 采 几 向 前 差分 和 中 心 莽 分 上 时， 梯度 过 侯 分 别 为 : 
(Gx); 一 Man t Mes) = fre) = l,e, Th, (3.4.15d) 
"a 
和 
Goy = Peet es Mee hie) an, (3.4.15e) 


2h; 
FAA, GREW Oh) APOS, REN O(n), 
Tee1 = Pk 一 Ay Ge, (3.4.15f) 


<- 134 - 


这 里 Ap 和 oe 分 别 是 Vi flee) 和 Vfl) 的 差分 近似 存 定理 
3.4.1 中 的 标准 假设 下 ， 我 们 可 以 类 似 地 得 到 


Jena a| < lar {le lË + Waa -Vrele -l 
+ ge — VF (ee)l|}- (3.4.16) 


上 式 与 (3.4.11) AEE. T-M lis- Vll 如 时 要 得 到 二 次 
KEER, DREE |F- F(a) = 0 人 zs 2" ||"), 而 这 意味 着 ， 
by 二 Oller- |)， 因 此 我 们 立即 可 知 对 于 算法 (3.4.15), 采用 
中 心 差分 时 ， 算 法 具有 二 次 收 竹 性 ， 而 采用 向 前 差分 时 ， 则 仅 当 
hy = O(n — af”) 时 才 有 二 次 收 敏 性， 

一 般 地 , 在 实际 计算 中 采用 向 前 差分 方案 是 可 行 的 , 晶 然 中 心 
差分 精度 高 , 但 工作 量 是 向 前 差分 的 二 倍 , 只 有 对 那些 需要 较 高 精 
度 的 问题 才 和 需 采 用 中 心 差分 方案 . 最 后 还 应 强调 ,如果 目标 函数 的 
梯度 可 以 利用 ， 最 好 还 是 利用 解析 梯度 ， 


§3.5 AMS se 


3.5.1 5/8 


AARRE MRHAR 当初 始点 远离 局 
部 极 小 点 时 ， Hesse 矩阵 V2f(zx) 可 能 不 正定 .在 这 种 情况 下 ， 
HARARE RERA S. RRE aA P Vee) = 0 m 
V fire) 不 是 正 半 定 时 ， 前 述 的 修正 牛顿 法 可 能 不 好 应 用 ， 而 采用 
负 蝎 率 方向 作为 搜索 方向 ， 可 使 县 标 焉 数值 下 降 . 

EX 3.5.1 设 了 ; R"* OREARD L- KEE M, 

(i) MR VP fie) 至 少 有 一 个 负 特 征 售 , Me < 了 叫做 不 定点 . 

(ii) 如 果 z 是 一 个 不 定点 ， 若 方向 4 满足 


dT? f(z)d <0, 
则 称 d 为 f(a) 在 zx Rb EA A. 
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(iii) du 
s’V fiz) <0, d?Vf(z) <0, d?V?flx)d <0, 


则 向 景 对 (s, d) 称 为 不 定点 x 处 的 下 降 对 . Ae RRO PRER, 
则 满 是 


s Vflr <0, @ V(x) <0, dvif(r)d=0 


的 向 量 对 (s, 所 称 为 在 点 x 处 的 下 笑 对 . 
作为 下 降 对 的 一 个 例子 ， 可 以 选择 


3 一 -V f(r), 
ia [° 如 果 V* f(x) > 0, 
E —sign (u? Vf (a})u, 否则 ， 


其 中 u 是 对 应 于 V2f(z) 的 负 特 征 值 的 单位 特征 向 量 . 

BR, SEANA Vile) ==8 和 WV?f(z) 正 半 定时 ， 下 降 对 不 再 
FE. 

从 上 面 的 定义 可 知 ， 在 稳定 点 处 , 负 曲 率 方向 必 为 下 降 方向 . 
在 一 般 点 处 ， 直方 d WE dN f(a) 二 0, 则 4 和 一 d 均 为 
下 降 方 向 ; € dV f(e) <0, Wd 是 下 降 方 向 ; Hd? V fiz) > 0, 则 
一 0 是 下 降 方 向 . 

采用 抽 曲 率 方向 的 收 正 牛顿 法 与 普通 牛顿 法 、 修 正和 牛顿 法 的 
主要 区 别 是 : 一 、 对 于 非 正定 Hesse HERE, ABA IGE, AUTH 
定点 时 采用 负 曲 雍 方 向 ; 或 对 于 对 称 不 定 的 Hesse IRE, 采用 对 称 
不 定 分 解 ， 直接 产生 贷 曲 率 方向 ， 二 . SEA FERE EAH 
长 因子 的 不 精确 一 维 搜 索 方 法 中 ， 代替 一 Bra Ste J, RA Be 
长 准则 ， 


3.5.2 Gill-Murray 稳定 牛顿 法 


Gill-Murray 稳定 牛 量 法 的 基本 思想 是 : 当 Gy 为 不 定 矩阵 时 ， 
采用 修改 Cholesky 分 解 强迫 矩阵 正定 ; 当 gx BAH, KI 
率 方 向 使 函数 值 下 降 ， 
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Gy, = Gr + Ey = Ly, Deli, (3.5.1) 
其 中 
Dy = diag (di. ert nnl Ex, = diag (ein, ute Enn? 

RHEE TFI HA ARA TK. 

算法 3.5.2 

i l a wy, = dj; — Ejj j Sl, o, 

步 2 求 下 标 É, 使 Ut 一 min{wy j 了 一 1, mre TH. 

步 3 He, 20. Wak; 否则 ， 解 方程 组 


Lid =e, (3.5.2) 


求 得 方向 dx, 其 中 e 为 第 个 元 素 是 1 的 单位 向 量 ， 


门 
定理 3.5.3 iG. 为 天 7) 在 on 处 的 Hesse 矩阵 ， 
Gr = Gk + Ep = LyD, LT. 


苦 能 出 算 法 3.5.2 ATT A de 则 di Æ er SRA. HA 
dr 和 一 Qs 中 至 少 有 一 个 是 a, 处 的 下 降 方 网 . 
证 了 明 ”因为 上 sp HE AEE, PR (3.5.2) 的 解 de 
有 如 下 形式 
dp = (pue pron 1,0, 0)". 
于 是 有 


d Gadi 一 di Gad, 一 aT Ends 
l == df Le Dp LF dy, — dr Ed, 


t-1 
T 2 ， 
= Bi Dier 一 ( Perr + eu) 
r=] 
t--1 
= de — — 2 
= itt — Ett PrErr 
r=] 
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t-1 
A 2 
= os 5 Arerr. 
r=1 


出 修改 Cholesky 分 解 算法 3.3.2, 
gel 


一 ， 2 
ejj = yy — By = dj + Dede > 953 
ral 


= dij — cj 29; 


t--3 
故 5 Der BO. MJA y <0, i 


rick 


dy Grdr € 0, 


所 以 dy 是 负 曲率 方向 ， 显 然 ，-- 因 也 是 抽 曲 率 方向 . 车 grde <9, 
则 du SL PRED APO. 一 是 上 降 方 向 - m 

FHE Gill-Murray Fixe ERR. 

算法 3.5.4 (Gill Murray 稳定 牛顿 法 》 

步 1 给 定 初 始点 eye eo A R= 1. 

步 2 US g A Gr- 

步 3 用 算法 33.2 对 Ge 进行 修改 Cholesky 分 解 


Ly, Dy Li = Gy + Ex. 
步 4 FF lige! > e 则 解 方程 
LyDplfad = Oks 


求 出 搜索 方向 de 转 步 6; AM, PEW 5. 
步 5 执行 算法 3.5.2, 若 不 能 求 复 方向 de (EI p: > 0) We 
ik; 和 否则， 求 出 方向 dy, & 


—dk, 车 gi di. > 0, 
die = 4p py 
dk, HE. 
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步 6 一 维 搜索 求 ar, 使 


了 (mp + ands) = min fixe + adeh 


并 令 zk+l = Se +H klk. 
wT? $ fler) sffze) 则 停止 计算 : FM, Be ki1, 
HE 2. 口 
-甘于 上 述 算 法 的 收 侣 性 ， 我 们 有 如 下 定理 . 
定理 3.5.5 设 了 (zr)e C3, 且 存在 Ee nR {ë 
L£(#) = {x | f(x) < fl)} 
为 有 界 闭 凸 集 ， 假定 在 算法 3.5.4 中 取 < = 0, 且 初 始点 zu € LE), 
则 算法 3.5.4 产生 的 序列 {on} 满足 
D 当 {r 为 有 穷 序列 时 ， 其 最 后 一 个 元 素 必 为 f(x) 的 稳定 
点 ; 


fi) 当 {fzk} 为 无 穷 序 列 时 ， 它 几 有 聚 点 ， 且 它 的 所 有 缘 点 都 
是 f(z) 的 稳定 点 . 

定理 的 证 明 从 略 , 感 兴趣 的 读者 可 以 参看 Gill 和 Murray (1972) 
AR XB 734% (1982). 


3.5.3 Fiacco-MaCormick 方法 


ll FS a SA Pd A AEE F . Fiacco-McCormick (1968) 首 

先 提出 的 . 它 处 理 Hesse 矩阵 Gi 有 负 特 征 值 的 情形 ， 步 长 算法 是 

精确 线性 搜索 方法 ， 这 个 方法 的 思想 是 : 沿 着 负 曲 率 方向 前 进 ， 使 
A tpg Be Pe. 

df gy, <0 Al dT Gade < 0 (3.5.3) 


时 
i. 
Flee + dr) © flan) + dog, + 5 dk Gud 


HFE ET Gy 是 不 定 的 ， Fiacco-McCormick FEAH 4-88 
Gr = LDL’, (3.5.4) 
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其 中 ， 工 Mie PS Ie, DD = diag (d11,…' ,drm) BMA 
阵 ， 当 Gy 正定 时 ， 这 个 分 解 产 生 下 降 方 向 dx. 但 是 ， 如 果 存 在 负 
的 di, 则 解 

Lit=a, (3.5.5) 


EF, fh] Bo 的 分 量 a 定义 为 ; 


l. dix <0, 
a; = { : (3.5.5) 
0, di; > 0. 
at vr a 
aE t, get <0, 
dk = T (3.5.6) 
t, git > oO, 


是 满足 (3.5.3) fh Ha PREF e- 

这 个 分 解 的 主要 缺点 是 分 解 (3.5.4) BERGEN, EA 
能 不 存在 .为 此 ， Fletcher-Freeman (1977) 利用 了 稳定 的 对 称 不 
定 分 解 方法 . 


3.5.4 Fletcher-Freeman 方法 


Fletcher-Freeman 利用 的 稳定 的 对 称 不 定 分 解 来 源 于 Bunch- 
Parlett (1971) 的 方法 ， 对 任何 对 称 征 阵 Ge 总 存在 排列 阵 P, 使 
得 

PTC, P = LDL”, (3.5.7) 
H+, LEAMA FIA, D EHHA ERO ër l 
BR 2, 对称 交换 的 执行 是 为 了 保持 对 称 性 和 数值 稳定 性 . i AE 
nxn ERE, 


T 


011 az 
A= A= ~ 
421 Az 


RH an 是 (n~ 1) AE An AE (mn - 1) x (n—1) HORE, 消去 一 
行 一 列 得 到 简化 矩阵 AO?: 


AU) = AY — duhi = | 一 -一 -一 - 


1 opt 
O | Aggy ag afl fd, 
1 fan oe 
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1 | @11 1 f 
diy = ii, n= ba = azdu | (3.5.10) 
车 设 4 qi 
aO 40 a (3.5.11) 


HH, An 是 2x2 块 ， 421 是 (n—2)% 2 HEBEL Ano 是 (n—2)x(n-2) 
和 矩阵， 消去 二 行列， 得 到 简 化 矩阵 AC: 


| i 
LAP = AD 一 LiD LT = A ps Di |F LE] 


0 | 0 
= | ---4.-------------------- (3.5.12) 
0 | Azz ~ Ani DD AR, 
其 中 
_ A p-a I 和 | ae 
Di Au, b= ha D = anao] = ps - (3.5.13) 


这 样 进行 了 了 去， 就 得 钊 (3.5.7). 

在 所 有 选 代 中 ， 算 法 在 两 种 主 元 形式 中 进行 选择 ， 分 解 需 要 
ns/6+ O(n?) 次 乘法 这 和 工 ， 产 生 的 工 和 万 的 形式 分 别 是 块 下 三 角 
Fae A BUR ARE. 例如 ， 


* 


其 其 * OH 
x E*m. 


上 述 分 解 通 常 称 为 Bunch-Parlett 分 解 或 称 B-P 分 解 ， 利 用 上 述 
分 解 ， 可 以 产生 负 有 曲率 方向 . 
Gr = EDL", (3.5.14) 


解 
Lit=a, (3.5.15) 


其 中 ， 对 于 1x 1 主 元 ，4 的 分 量 定 义 为 


1, dei = 0. : a 
a= {3.5.1 
i { 0, dyu > 0. 6) 
对 于 2x2 主 元 ， 
f ， 
( a ) 是 对 应 于 j Been | 的 负 特 征 值 的 单位 特征 
Git) Litli 3 十 11i 十 1 
T 
di = | ý H gt < 0, (35.17) 
—t, 当 git > 0, 
则 di 是 满足 条 件 (3.5.3) 的 负 曲 率 下 降 方向 ， 事 实 上 ， 
di Gedy =a, LDL d, =a Da= Ý 4, <0, 
EAO (3.5.18) 
digr <0, (A (3.5.17}). (3.5.19) 
另外 ， 当 D 有 人 负 特 征 值 时 ， 搜 索 方向 de 也 可 由 
di = -L TDL? gy (3.5.20) 


FE, Ht DED MEMS, MA D HABER ESA, 
5. { diis 当 dau > 0 BY. 
0, = M- 


D+ 是 万 的 广义 赣 ， 
当 D 中 至 少 合 有 一 个 零 特征 值 时 ， 方 向 de 可 由 
Grdr = LDLTd, =0, gid <0 {3.5.21) 
产生 . 
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当 呈 的 特征 值 全 为 正 数 时 ， 呈 中 全 是 一 阶 抉 . 这 时 ， Bunch- 
Parlett 分 解 简 化 为 通常 的 Cholesky 分 解 ， 所 产生 的 搜索 方向 就 是 
通常 的 牛顿 方向 

de = -LTDL ay. 

可 以 着 出 ， (3.5.17) Were BS fh AE FEA a PRE AE AF 
Seta}; (3.5.20) Pe 4 ay AE TE ERD Pe A 
ik, 2G, AARE EA (3.5.17) 和 (3.5.20) 作为 搜索 
Fel. HTC ARE. A, MERA ERMEER e 
使 用 (3.5.20) 和 (3.5.21), D RIBH ee. 

对 称 不 定 分 解 的 一 个 好 处 是 可 以 确定 G4 的 惯量 , 邮 确 定 正 特 
WER, ARAM SHAM RA. 在 {3.5.7) P DRAG, 
的 惯量 相同 【虽然 它们 的 特征 值 本 身 并 不 相同 )、 HF OD MH 2 2 
顽 总 是 对 应 着 一 个 正 特征 值 秆 一 个 负 特 征 值 ， 故 Gx 的 正 特征 值 个 
SEP 1 x ERAH hex? RHE. 


3.5.5 二 阶 Armijo 步 长 准则 -一 一 McCormick 方法 


在 82.5 我 们 已 经 过 论 了 不 i—i Raer Armijo 步 长 
EM. 考虑 


min f(z), «€DCR", D EFE. (3.5.22) 
MYT Be BEF BEE 
Eg41 = Tk — V flre)? , (3.5.23) 
由 (2.5.2) 有 一 阶 Armijo 步 长 准则 
Fer) fire) < —ellV flr) 5 Oc<p<1, (3.5.24) 
FF ARATE T WR V f(x) 是 Lipschitz 连续 , 那么 号 中 序列 {za} 
Bo FES aE EA 
现在 讨论 二 阶 Armijo HE HEM. fits, Be BAe RE 
A 
epi = tp + pilos + dolaldp, (3.5.25) 
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其 中 (sede) 是 一 个 下 降 对 ， 特 别 ， (3.5.25) 可 以 到 为 


y(t) = te + sp2 + dp. (3.5.26) 
二 阶 步 长 准则 要 求 求 ik) 它 是 满足 
yet) ED, (3.5.27a} 


Flt] < fan) + p27” [sF VF (2x) + sfonde (3.5.27b) 


的 最 小 整数 ， 并 令 


tees = yrli(k)]. (3.5.28) 
为 了 存在 满足 (3.5.27) HARM i(k), 只 要 
SEV Flee) <0, 4 Vile.) £9, (3.5.29) 
和 和 
dV? flenjdy <0, 每 当 人 fiz) = 0. (3.5.30) 


24 zx de PE CRA. HERE 
降 对 (sk, x) 不 存在 ， 算 法 终止 . WT MAPA er) MERE 
一 个 满足 二 阶 最 优 条 件 的 点 ， 必 有 颁 在 {sn} {di} 上 加 上 较 强 的 条 
ff. WR sk 与 Vfl) HRA), MEd, HERLEES 
Vf(lzr} 的 对 应 于 其 最 小 特征 值 的 特征 向 量 ， 则 可 以 证 明 下 而 一 
个 有 意义 的 收 分 定理 . 

定理 3.5.6 假定 Hesse 矩阵 V7 f(z) EAR D PE, 
定 在 D 中 极 小 化 了 的 算法 满足 flees) < flee), BERERA 
ATP RAE (3.5.27). 没 五 1 是 利用 二 阶 步 长 过 程 的 一 个 指标 
集 ， 了 ED 是 fe.) DHEA, ke KL. HERPES enes, 
scgal =1.2, 使 得 


ssl > eV fiel kE Ki, (3.5.31) 
ELV? f (wu )dp < ca (es) V7 ffen, kek, (3.5.32) 
si Vf (te l 


~ aero Ber > 0, (F4 VS (ze) #0, ke Ki). (3.5.33) 
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SEP Se Ut she GI Tel uproot 


进一步 很 定 序列 {srh {h} RAR. MA, TE-PER, BE 
Viz) = 0, Hesse 矩阵 是 正 半 定 的 ， 至 少 有 -个 零 特征 伞 ， 
证 明 “分 两 种 情形 考虑 ， 
情形 A. BHT ke Ky, 整数 序列 k 一 致 有 上 界 . HG 
ETATER. 因为 站 zi 本 所 flee), R= 0,1, 由 (35.27), 
(3.5.31) , (3.5.32) 和 (3.5.33), 得 到 
fE) 一 flv) = Sofa) 一 fire) 


k=O 


< SOU (Ert) 一 fiza) 
Ky 
. _ = 1 fai 1 1 
< So 2 ik} az Vilas) + adv flan dk] 
Kı 


< Y|- ecsl Fe) + 5 (ein) 702 flan epinl. 
Ry ° 
NF FF 了) 有限， 又 由 于 上 式 方 括 导 中 的 两 项 均 小 于 等 于 零 ， 故 得 
V f(z) 二 0 和 gamin g? f (zye™ =0, i 

其 中 eh 是 ler} 的 聚 点 ， 它 是 对 应 于 WV? 了 (3) 的 最 小 特征 值 的 
ei (A) HY 

情形 B. ERT ke K, 整数 序列 dilk) pE- HALA it 
Ky C K, $ AmE, i(k) o, k 4 00, ke K. H (3.5.27) 
我 们 有 或 者 


yr lifk) — 1] ¢ D, (3.5.34) 

或 者 

7 一 可 -ia > pa HEE [sEV f(e) 

(3.5.35) 

+ SV erd]. 

因为 ik) po, k o oo, k e Ka 因此 ， yr[itk) 一 1] oz 如 果 
(3.5.34) TRZ KAET. M zg Dp, 这 与 定理 的 假设 ED IA. 
PU. FRE RPA EA ke Ke, (3.5.35) R. 
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为 符号 简便 计 ， 设 
Pa = 3427! 
利用 Taylor 定理 展开 (3.5.35) 的 左边 ， 并 注意 到 V 连续 ， 有 
Fy lik) = 2)] ~ fea) =ph VE (ex) + ZEV? Han)pe 
4 (27-8) 


He q gpg PE, 


> po POAT SEV flea) + soso 
将 相同 欧 项 组 合 ， 并 将 适当 前 项 并 到 of2-FMH)—4) 中 去 ， 上 述 不 等 
SX ae 

(27E) >(p— 192 KON SEV Fle) + SAL V ft) | 
>(= 12H] — cscs [V f(a) 
+ pn TVE fene], 
两 边 同 除 以 0 -pyn HRR Ok oo, k E Ks, 得 
0 > eoll YA- zelam TY? fee min, 


其 中 ane 2K i 4 OP R REE E FEE 
负 ， 章 两 项 必 都 等 于 零 ， o 


3.5.6 Of Armijo 步 长 准则 一 一 -Goldfarb 方法 
Goldfarb (1980) 给 出 了 (3.5.25) 类 型 的 一 种 迭代 形式 
epla) = Lk + aa, 十 ards, (3.5.36) 


其 对 应 的 二 阶 Armijo 步 长 算法 为 ; 给 出 ap, 0 < op <1, 初始 
点 Zn， MEP R= 0,1,2, :确定 zhzl BP: 在 zx 处 选择 下 降 对 
(sodih MRE FR. AA ib. AW, Bi, +t 是 使 得 


ay i l as 
fxrlo)) — flag) < pla 8h gk 十 ual di Gedy] (3.5.37) 
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FEIE & AUETA teh Z ah 


成 立 的 最 小 整数 i= 0, 1,2,- a #4 


rkp, = Zh(o +l). (3.5.38) 


Ept Armijo F A a EE RA F E 3.5.6. 

E 35T WMA FEX {sxi lidel k= 9,1, FA. B 
满足 

(i) gf sk = 0 > gp = G, sp =0, 


(ii) gf 3, > 0 => gr > 0.5, > 0, 

(iii) df Gade + 0 => Ap — 0, dk > 0, . 
TYPES BERT (srida) 是 可 接受 的 ， 其 中 A, = min{ AG), 0}, AGa) 
是 Gi 的 最 小 特征 值 . 

定理 3.5.3 Ji Æo h ERED REOM M, 
HTAR zoe D, 设 水 平 集 


E = {a | fle) < f(z0)} 


ED HRR. REE LAO Armijo PRAH p PRY EHE 
REI, FREE 


— sf gr > erllsell*, (3.5.39) 
si Gasp & egilse|l?, O<e1,¢2 < o, (3.5.40) 


ABA, gn 4G, sk 30, A, — 0, dp > 0. 
WEAR ”首先 证 明 序列 fg} —M LAR. 假定 序列 fi.) 不 是 


。 ， l a y 
F(we(ats)) — f(a) > pla’ sf gr + zat aT Cady. 


对 上 式 左 边 用 Taylor 展开 ， 得 


ar sf gp + a? dT gy + 5 jæ sx 十 ody] "Ch [aa sy 
+ atte da] + ofa”) 
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l - 
>plo sk gx + zod Gude |, (3.5.41) 


EIAN Bods POC) 的 硕 归 集 到 ofa**) 中 去 ,并 注意 到 gi < 
9, 得 | 
3“ a sl Grsk + ofa) > (p ~ La’* sp gr 2 0. 


利用 (3.5.39) 和 (3.5.40). 得 到 
5020 srl + ofa) > (1 — pera" [Ise > 0, 
因此 ， 
ca > 2(1 — p)er/ea + ola") > 0. 

由 于 0D0< a< 1 LAW o 4A RATE, 这 与 假设 1ik} 无 界 
AB ATA {i} 一 致 上 有 界 . 于 是 , MATA k, Ai +1 所 < o, 
5 是 某 个 有 限 上 界 . 

由 二 阶 Armijo 准则 (3.5.37) 和 关于 su. du 的 条 件 得 到 


fai — fi < pla’ ol gy + 50 a Gadg| < 0. (3.5.42) 


SUA SENET BEAUTY Fi {fe} FAS: (frii f 2 0. IAN (8.5.42) 
A sign 30 M df Gad, 一 0, 再 出 可 接受 下 降 对 的 假设 立 得 本 证 
理 的 结论 . 口 

引 理 3.5.8 i2 f: RE o RERED LET i, Ra 
{ex} CD 是 满足 jim Vf(z4) =0 REE IFA, 那么 了 在 DD 中 的 
ite Fe 


Q= {xe D, VF(x) = 0} (5.5.43) 


sie [af fe =el] =. (8.5.41) 

Seo, WHO 由 一 个 点 2* E MY jim, Ey =o" fl WV fir = 0. 

证 明 A DBM, on) ARATI. Blimey, = 2, 
那么 由 Vf BERE, 4 Vf) —0, 从 而 cn 
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今 设 On 三 inf lz, 一 zj. 假定 jim ék = 6, 那么 {ate} 有 收敛 
子 序列 ， 由 于 子 序列 在 9 Foe TARR. AS = 0, 从 而 (3.5.44) 
得 证 ， m | 

这 个 结果 的 二 要 性 是 当 临 界 点 集 仅 由 -个 点 组 成 时 ， 序 列 收 
ok. HSE. QUO 而 有 限 个 点 组 成 , 只 要 jim (2k) = 
oR BBA OPES BR. 

引 理 3.5.10 HS: R + RERED LESH, Ref 
在 了 中 的 临界 点 集 有 是 有 限 的 ， 设 序列 {ep} CD 满足 


pn {ek = Zk+ || = 0, jim IYER] = a, 


那么 ， 
jim zk = 2" RV Fle") = 0. 


WEAR kA 是 ize} 的 极限 点 集 ， 由 引 理 3.5.9 wR, FET 
限 点 也 是 f 的 一 个 临界 点 ， 所 以 AC 器 , 这 表明 A 是 有 限 的 . 

FRA REA oH, MARR A+. 假 
REAR BUR SE A = {zis Zas 2mh 则 


6 = min{||z; — z;|| | TÆ jij = 1, m} > 0. 
BE N(2,6) = fw | ke — zdj < 四. 我 们 可 以 取 ko > 0, 使 得 对 所 有 
k > ko, 有 


as. E | N(2;,6/4) 和 人 zk ~ vagal] < 6/4. 


i=] 
但 这 村， 对 其 一 ky > ko, we, E€ N3, 6/4) 意味 着 


tei — Trl) Sa — zal] — dle en + ens ~ te aril) 


2626/4 =$/2, ix 2, 


a FE AW Thi td 不 在 N(2;,6/4) 中 ， 2 2, 因而 必定 有 Thy +1 € 
N{z1,8/4) 于 是 由 归纳 法 得 到 


Tp ENiznd/4)， Yk > ky. 
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但 这 与 z1,… ,zm 是 {a} HRBAD IA. AMBRE TIER. i 
mal, im 

定理 3.5.11 除了 定理 35.8 的 假设 以 外 ， 再 假定 f 在 水 平 
集 工 中 的 临界 点 集 是 有 限 的 ， 那么 ， 如 果 {ze} 是 由 二 阶 Armijo 
步 长 算法 (3.5.37) 和 (3.5.38) 得 到 的 序列 ， 则 


jim ze =£", gf2")=0, G(r’) 20. (3.5.45) 
ao 


此 让， 车 有 无限 包 个 Gk ZO. 则 G(x") FH —-PERP A. 

证 月 ”由 于 定理 中 假设 了 下 禾 对 是 可 接受 的 ， 歧 定理 3.5.8 的 
结论 se 一 0 和 和 di 9 0 BORD |r — zell + 0. SRF fF EK 
平 集 工 中 的 临界 点 集 是 有 限 的 ， 故 由 引 理 3.5.10 得 


Jim tk Ee" Al VF le") =O. 


RAT A, 30, Gr) HESE, Af Gla") BR RIEKE. eh, mE 
BARS Gi £0, WA Gla) 的 连续 性 可 知 Giet) BAA 
特征 值 为 零 . 
3.5.7 = Br Welfe-Powell # 46: hill 


(3.5.25) 也 常常 取 为 


Moré-Sorensen 方法 


ze) 一 了 工 十 a2s + ad, (3.5.46) 


这 个 选择 称 为 Moré-Sorensen 选择 ， 它 要 求 o 满足 


Fla) < flv) + pa? [VEs + ZTV? ad], 
Vfia(a))P2"(a) 20 [Vrea 4+ 2aV fle)? s 
+ ad? Vf (x)a}, (3.5.48) 


RpO<pge cl. 当 人 =0 时 ， 上述 步 长 准则 (3.5.47) 一 [3.5.48} 
简化 为 Wolfe-Powell 步 长 蕉 则 (2.5.2) 和 (2.5.4)， 我 们 称 (3.5.47) 
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和 (3.5.48) 为 二 阶 Wolfe-Powell 步 长 准则 ， 者 令 
(a) = fla, + ors, + ody), (3.5.49) 


题 (3.5.47) 和 (3.5.48) 等 价 于 确定 er WE 


L a ， . 、 
Pelak) = ,(0} + 5P 2% (O)az, (3.5.50) 
Bi (az) 2 olp) 一 proar. (3.5.51) 


图 3.5.1 给 出 了 二 阶 Wolfe-Powell EIS HEM, ERIE 25.14 
出 的 一 阶 不 精确 线性 搜索 步 长 准则 . 


| 


Free lels+ 2d? Gd] 


fated) 


staleg d+ arighy 4 + a7 Gdi] 
图 3.5.1 L% Wolte-Powell Hte HE iil 
定理 3.5.12 it fR" > REAR D FAIR Pe, OH 
于 给 出 的 zo E D, EKER LafreD! fe) s< lro) BDHE 


集 ， 假 定 二 阶 Wolfe-Powell 步 长 算法 (3.5.46), (3.5.47) 和 (3.5.48 
中 下 桥 对 是 可 接受 的 ， 那 么 ， 


sm Gh sn =06 和 iim, di Grd, =. (3.5.5: 


证 明 MA (3.5.49) 有 61 (0) = gl dy 和 
BO} wT 202 Sk ~ di Gd,. 


由 于 (sede) 是 下 降 对 ， 栈 9110) < 0, BY(C) <0. 因此 ， (3.5.47) 
表明 {zk} CL. h f ESE PERT L 的 紧 性 可 条 六 Jei) Hee 
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aS. 由 于 | 
Tie — fk+i Z -zP $k (Oak 2 0, 


im a? gi sk = 0. (3.5.53) 
一 
Jim afd? Grdr = 0. (8.5.54} 
=w 


RM (3.5.51) 可 得 
Bei) — B, (0) ~ a, BHIO) = —(L — a [H, {0 + Be (ag, 
因此 ， 
dilar) — BO — ag Hf (0) > -U — o) BEO ar. 
OY AGTH (RE, of RON AY Ag 
BP} — BF (0) Po, PE (Og). (3.4.55) 


下 耐用 反 证 法 证 明 结 果 (3.5.52) 成 立 ， 假 定 (3.5.52) 中 或 者 第 一 趟 
TFR RERO SRA a. 那么 存在 子 序 列 {hi} Ap > 0. 使 得 
— &/(0) = > 0. | (3.5.56) 

这 样 ， (3.5.55) 意味 着 fon) TRATE. 但 是 ， 著 fan.) AEM 
TÆ, m (3.5.56) R. IA (3.5.53) 和 (3.5.54) WA AER E. i% 
FATER. 口 

完全 类 似 于 定理 3.5.11, 我 们 有 

定理 3.5.13 EEE 3.59 中 的 县 设 成立 ,又 假定 了 在 水 平 集 
DPR HE AS SRE ARN, 那么 , 如 果 {r} 是 由 二 防 Wolle-Powell 
步 长 算法 (3.5.46) 、 (3.5.47) 和 (3.5.48) 得 到 的 序列 ， 则 


Jim mx 一 2 of") =0, G(s") 20. (3.5.57) 
此 外 、 若 有 无 限 多 个 Gi £0, 则 GG) EDAEN EN. 
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SEAR 出 定理 3.5.11 的 证 明 ， 
3.5.? METEN (Srde) 


这 后 ， 我 们 担 一 下 如 何 选择 下 降 对 (9.02). EH W aE 
A. 订 先 考虑 计算 s. 由 Bumch-Parlett 对 称 下 定 分 解 


is 
fas! 


Gi = Eg Dib, 


HERTE ETHAEE Lre BPR PSR, Dr 是 块 
A AIER, AOA A x) 2x 2a. UR Ds 的 谱 分 解 为 


Dr = Up AUE, 


ap 


x) = max IAI] er max IA e : 
7 Eg CI OOO gign! 

Ay = diag (31°, X) 
其 中 = 是 相对 机 器 精度 ， 并 令 


D, = DAU ', 


(Le DRLE Je = 一 9R， 


得 sy. 
负 曲 率 方向 dr 可 由 解 


LP dy = +|min{A(D,;),0} (1 zp 
得 到 ， 其 中 MDa) 是 Pr BRE, zx 是 对 应 的 单位 特征 向 


La = £ Ss 25, 


Mlaj 


E-A RN E. 


83.6 fF Hh MRO 


3.6.1 RABAT iE 
oP OUP: MUA AN EU ZUR RAL zs MH ik Be 
(9) = Flex) + of s+ 58" Gas 
HARE f(z), 并 以 ge) 的 极 小 点 ss 修正 we, 得 到 


fp41 = Ep + Sg. 


AR, MATAR RE BIAM Ue, MAR s 充分 小 
mt, ghi) 才能 逼近 ftx), 27 BEE, FRAT BY 
而 介绍 了 一 维 搜 索 技 术 . 在 采用 … 维 搜索 的 方法 中 , 我 们 保持 同样 
的 搜索 方向 , 而 选择 一 个 缩短 了 的 步 长 . 虽然 这 种 策略 是 成 功 的 ， 
但 它 有 一 个 缺点 ， 即 没有 进一步 利用 n 维 二 次 模型 . 

在 这 一 节 ， 我 们 介绍 另 一 种 新 的 保证 算 尘 总 体 收 族 的 方法 
-一 - 信赖 域 方 法 ， 它 不 仅 可 以 用 来 代替 -一 维 搜 索 ， 而 县 也 本 以 解 
次 Hesse EHE Gy 不 正定 和 x 为 鞍点 等 困难， 这 种 方法 首先 选 掺 
一 个 缩短 了 的 步 长 ， 然 后 利用 n 维 二 次 模型 选择 搜索 方向 ， 即 先 
确定 一 个 步 扒 上 界 he 并 由 此 定 广 xz MOB Ds, 


Q = {x | le — axl! < Ap}. (3.6.13 


假定 在 这 个 邻 域 中 g(s) SH RRR Flee +s) 一 致 , 即 二 次 模型 

是 目标 函数 f(z) 的 一 个 合适 的 模拟 ,然后 用 n 维 二 次 模型 G(s) 

确定 搜索 方向 sk， 并 取 zx41 二 zk + sk 这 种 方法 既 具 有 和牛 幅 法 

的 快速 局 部 收 化 性， 又 具有 理想 的 总 体 收 伍 性 ， 由 于 步 长 受到 使 

Taylor 展 式 有 效 的 信赖 域 的 腿 制 ， 故 方法 又 称 为 限 步 长 方法 . 
信赖 域 方法 的 模型 问题 是 


tk 1. 
min gis) = fler) + Gest 58 Ges 


{3.6.2] 
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注意 . 第 一 . 这 里 的 范 数 没有 指明 ， 可 以 利用 2- 范 数 | -|2, ec- 范 
Be i) le. 也 可 以 利用 G- TER || lo 或 其 它 范 数 这 数 方法 采用 
ieia, 钢 如 下 而 介绍 的 Levenberg-Marquardt FIE, WAED EE 
H 让 ie， 例如 Fetener 的 超 立 方 体 方法 . 第 一 ， 这 里 模型 中 的 Ge 
E H tee BGK] Hesse FREE, bE Hesse FE PE XE Lh ` 算 或 不 好 利用 ， 
岂可 利用 有 限 关 分 近似 Ge 或 者 利用 第 五 童 讨论 的 拟 牛 顿 法 构造 
Hesse Ut ith. 

如 何 选 择 ha? 一 般 地 ， 当 aa) 与 fle, +s) 之 间 的 一 致 性 
HERRER, MERRI HEKA hg. BAS. ON f FE ki 
实际 下 降 量 ， 


Ajk = fa ~ frr + skh (3.6.35 
Ag!) 为 对 应 的 预测 下 降 量 : 
Ag) = fe — g*)(s). (3.6.4) 


EEE 
re = Af, fag™, (3.6.5) 


它 衡量 二 次 模型 ¢ (5,.) 近似 目标 函数 f(z + sc) 的 程度 ， re 越 
接近 1, 表明 近似 程度 趟 好 .下面 给 出 一 个 简单 的 模式 算法 ， 它 自 
适应 地 改变 hs, 并且 在 使 hi ROT RAR, RRO Ke 
与 目标 函数 的 一 臻 程度 . 
算法 3.6.1 (PRAT) 
初始 步 : 给 出 rp, 令 ho = ligoll: 
$k: 
(1) 给 出 zx 和 hre, 计算 gi 和 Gri 
(2) RHA fa AY (3.6.2), KH ski 
(3) RK Fler + sk) A ra MOAT; 
(4) 如 果 ry < 0.25, & haaa = flee ll /4: 
如 果 re > 0.75 和 jar|i = ka, 令 Rar. = 2hy: 
否则 ， 置 hepi = has 


(5) # re S0, E zepi = ay; DIJE ee = ty t Se. 


口 


吃 该 指出 ， 算 法 中 的 常数 0.25, 0.75 等 是 根据 经 验 选取 的 ， 
起 者 也 可 以 自己 确定 算法 对 这 些 常数 的 变化 不 太 繁 感 ， 另外 ， 
也 可 根据 多 项 式 插 信 选取 Ae PANH re < 0.25 mf, FIELE R M 
(O.A}sei],O.5isei]) 中 由 多 项 式 畏 什 选取 bai. 


3.6.2 ARMES RREA E 


MMAR —-TREMARREEA A BSE. FERI] 
Mgt lo JE ATR AR CEE A. SS fb, AP Se et 
PERE, BT LA A RU PE Rt Oe Ee th a. 

-定理 3.6.2 (PMMA RARER) BOR 是 有 
H rm CB, Yk, fe Ct, HAAR BL Guile <M, M > 0, 
MIRER EL PE — aR A B Rh Be z. 

证 阴 由 算法 产生 的 行列 中 存在 一 -个 子 序 列 ， 或 者 满足 

(1) rp < 0.25, hegi > O (IT ilsa — 0) 

或 者 满足 

(2) re > 0.25, glb (ar > 0, 这 时 glb (hy) 表示 hy 的 总 体 最 小 
5 (global least bound). 

取 ac A RR Ee 

先 沽 虑 情形 (1). 假定 g* 半 0, 对 任何 oe 考虑 量 速 下 降 步 ， 


有 
a™ (-age/ gulls) = fi -algrils + Sat Grge/ leB (3.6.6) 
若 of Grigs > 0, 则 当 
Onin = lige 13/98 Case 
tho @)( age / Iga} REAM. de 


L ， F 
Anin =: 四 Gh Fhe 


HF s= —hage/|lgello 对 于 信赖 域 模型 问题 (3.6.2) TT, He 
Agh = fa — gss) 
> fe — gs) 
= fy — ePi hagr i ligule) 
= hxlloxtle 一 Shot Grge/ jor 


= gheileeli2(2 > hs -gi Grgar f kailā) 


A, irf ` 
= ED = hyf Omini (3.6.7) 


&min 
HH ha => 0, Amin 2 laxa M > lla |le/M > 0, 从 而 对 所 有 充分 
大 的 下， 1 
Ag! = Å mine Gmin = rela lle (3.6.8) 

若 of Gig, < 0, 从 {3.6.7) PENR ETERNA 4E A 
ie 3 |sell =+ 0 时， 

sell — 2llsall3 2 

Sq, ~ Aellgella ga 

FH Taylor fext, A 


Afe = Agt 4 o(||sxi[2)- 


snlla 4 0. (3.6.8a) 


于 是 得 到 
rk = Afr/Ag'’ — 4, 
Èj re < 0.25 FI. AME g™ = 0. 
再 假定 G™ 的 最 小 特征 傅 A < 0, HOA 09 A T BY vv. 
考虑 eer hiv v AB v ge <0. TE, X, HSF (3.6.2) 的 
可 行 性 ， 有 


ons ; 1 
Ag"! = —hpu gg — zhe Gav 
lo» > 
> hae Gav 


-I 


1. N 
= aha t ofl}. 
注意 到 Af, = Ag + offs. 13), Anew 
ry, = Af, Ag’™ — 1, 


LG re < 0.25 矛盾 ， 从 而 GA BAEP REW. 
MTER (2). 注意 到 


fe — f° BAS, 


k 


AF fi f° Bee, Bedi 
SAS, 20.25 Ag 
k k 
可 知 ， Ag) 一 0. 定义 
qals) = fT +a7 G+ 5s7Gres 


WR MLO <A < glb (Ag), MES EM RAKE | sll Ak ZFR 
iE gals. MIRA AN k, BH ee + PRM 可 行 ， 这 样 


gz — wx) > @ (sg) = fr — Aa! 


RER É fe > f°, gn 3 9, Gp > GY, Ag" 30, B-a, > 5, 
从 而 得 到 
g@ (5) > J” = g (0). 

因此 s = 0 ARKH lsi < A 之 下 也 极 小 化 gi EAE 
hh > 0, WEAR sl <A RAR, FON RAY RS 
为 零 ， 从 而 约 东 问题 

ming™(s)} 

stiis <A 
的 一 防 必 要 条 和 件 简化 为 gq” = 0, 二 阶 必 要 条 和 件 简化 为 Gee TI 
Æ- 口 


iT, 


+ 
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如 果 青 加 上 较 强 的 假设 ， 我 们 是 以 得 到 算法 是 二 阶 收 合 的 结 


E. 


定理 3.6.3 ”如果 定 埋 3.6.2 PARRA r 还 满足 了 的 Hesse 
EE GY 是 正定 的 条 件 ， ABA. RET ERS, F re> l, escar, 


glb (2%) > O, 


度 是 二 阶 的 ， 
HE RA 


以 及 对 于 充分 大 的 及 约束 sl < ke. Hob. Bese aR 


恨 定 算法 产生 的 子 序列 zk 一 zse 属于 定理 3.6.2 中 第 


一 种 情形 ， 即 re < 0.25, hag 一 0. 考虑 方向 dy = -Gr gr. HF 
G= 正定 ， 则 对 充分 大 的 飞 ,上述 方 向 d HEXAL FENA- 


£ la 


S hr, M] Sk = dk, 
Aqg™ = fe ~ g(s) 
= 一 BR ak 一 ss Gear 
= (GSk) sk 一 3 Gss 
= sok Gasa 
> Slisall?, (3.6.9) 


其 中 A, 是 Gi 的 最 小 特征 值 . 


车 llall 


A 


> fe, WE Ag) 的 最 优 性 ， 
和 > fe g hrdy! ldall) 
- ， 1 v 
> —hidi ge /ildell 一 z hrdy Gade /la ||? 


: i 
hidk Grde/||dal| 一 gradi Ge 人 四 


wW 


1 。 
shade Gedx/||del| 


> Shu dalldal 


Ww 


1 


1 
= 3 Nelle I”. (3.6.10) 


(3.6.9) 和 (3.6.10) 表明 


总 成 立 ， 注意 到 Af, = Ag + ollis), 从 而 得 到 


z H2) 
Te 一 = 1- te 1, (3.6.11) 
: q 


EB re < 0.25 FAR. 从 而 序列 zk +e 不 属于 第 一 FHR JE, 而 属 

于 第 二 种 情形 ， 于 是 ， an k 充分 大 使 得 E -a™l g = < ggb (fie). 

TU ee We CE EBB 3.2.1 AR, ekg = Zh 一 Gog, 满足 
|en — 2 lj < zr — i, 


FATE 2, PAT. 因此 整个 序列 zx >r. HATH (3.6.11) JRE 
个 序列 满足 ri 2 1, 且 在 第 二 种 情形 在 glb (hg) > 0. 

HF k ETAK feil < he, 算法 化 为 牛顿 选 代 ， 故 由 定理 
3.2.1 可 知 序列 {xa} BA KP aR. J 


3.6.3 Levenberg-Marquardt 方法 


最 重要 的 一 类 信赖 域 模型 是 在 (3.6.2) 中 取 h 范 数 得 到 的 模 


y 、 
= min g} (s) = f(x,) + gist 58 Ges, 
(3.6.12) 
s.t.j[sll2 < Ar- 
这 个 模型 可 以 由 解 
(Ga 十 As —gx (3.6.13) 


确定 sk KAGE, Rp 是 一 个 非 象 数 . 这 个 结果 直接 从 约束 最 优 
化 的 Kuhn-Tucker 条 件 得 到 ( 见 第 八 章 ). PEE WME Gy 正定 ， 
且 牛 顿 修正 sk = 一 GE gr WAE |lscll < he, 则 sk 即 为 问题 (3.6.12) 
i, (3.6.13) 中 相应 的 A = 和 FR, 可 以 假定 约束 为 有 效 ( 积 
Be) 约束 ， 共 而 模型 (3.6.12) 可 以 写成 


mingis} = f(x) 4 a 94 eT Gks, (3.6.14) 


Tp 
s.t.s 8 = hy. 
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引进 Lagrange pÁ žr 
7 1 , 
bls, p) = gls) + zrl” 一 hz). (3.0.15) 
i 


由 于 约束 os < AQ AT Re, PR RE: EE N 
Be OG. > VL =0, 有 


ge + Ges -ps = 0, (3.6.16) 


PERH (3.6.43) st. (3.6.16) 和 ss = AZ 即 为 问题 (3.6.14) 的 
Bt Sak fe. HT u = un 注意 到 Lo p) 是 < 的 二 次 函数 ， 
AL(Sk, Hk) = 0, TÆ. 


L(g pr) =g% (8) + 


=q*)(s) 


p(sTe ~ h3) 
1 
2 


1 
=fr tgs 58 Gks | 


pasts 


Bo] eno] be 


Hihi + sp VLisk, ue) 


1 ， 1 1 
5 ites s 3 AR + 中 的 


T 
+ st Gesk 十 HRSI Sh 


1 
=g} (84) + zts ~ Sk) (Gr +a Is — sx). 
(3.6.17) 


注意 到 (3.6.14) 的 局 部 解 的 三 阶 必要 条 件 是 
P {Gs 十 tal)p 20, YYp:p sp = 0. (3.6.18) 


今 设 sy 是 (3.6.14) RRR, o HEE ols, £0, 则 有 可 能 
PVE Es! # sk, 使 得 它 对 于 问题 (3.6.14) 可 行 且 


s—s, Be 成 比例 . (3.6.19) 
由 总 钵 解 的 性 质 和 可 行 性 ， 有 


gla) ES g Hs") = Eis", ug). (3.6.20) 
AK (3.6.17), (3.6.19) 和 (3.6.20) 立 得 
vt (Gy taw 20, Vero s, £0. (3.6.21) 
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这 样 ,从 (3.6.18) 和 13.6.2 昌 得 到 总 体 解 的 二 阶 攻 要 条 件 是 GG 十 pe 了 
EPE 

进 -- 步 ， 设 对 于 及 = pe, sk 是 (3.6.13) MAR. ME Gaet peel 
正定 ， 员 对 于 任何 使 (3.6.14) AITE s Æ oy, 由 (3.6.17) 可 得 


g™ (si = Ls. nu) > gsr), (3.6.22) 


这 表明 一 个 唯一 的 总 体 解 的 二 防 充 分 条 件 是 对 于 基 个 py 二 jk， 
(3.6.18) 式 在 sx 成 立 ， 且 Gi + pl EE. 

HIE. PAKI Levenberg- Marquardt Fy i Hi 2M iz — u 2 0, 
使 得 Ge tad 正定 ， 并 解 (3.6.13) 以 确定 se 

可 以 证 明 lsi: 是 4 的 单调 下 隆 函 数 ， 事 实 上 ， 


bey 1 
lg) S llsha = (Ge + ut) gali, 


于 是 ， 
— I (Ge + HL) Tg L (Get pl) ts 
7 :sa B lslja 
“4g. AOR, A n'a) <0. RE nd 4 Isle 是 六 的 单调 下 降 
下 面 ， 我 们 给 出 如 下 -- 个 类 要 于 算法 3.6.1 的 算法 . 
算法 3.6.4 (Levenherg-Marquardt 方法 ) 
初始 步 : 纵 出 zo 和 po > Ok =O, 
Bk RARR: 
(1) 给 出 ce Al wee. ITS on FU Gai Æ hga < ©, 停止 ， 
(2) 分 解 Gatun 如 果 不 正 定 ， 置 wk = 4p, 并 重复 这 一 步 ， 
直到 Gi t+ ust 为 正定 . 
(3) Æ FFH (3.6.13) 求 出 sp- 
(4) R f(t, 上 sk (se) Fl re 的 值 . 
(5) 4 te < 0.25, E Heol = Hi 
F rk > 0.75, BE jei = Un/2; 


否则 ， 置 HE = Ek- 


(i) 
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(G) AF rk <0, Bi tror = eg, AWW, A teni — ty t+ se. 
(T) e A= k+1, F601). 器 


3.6.4 WHAE (The Double Dogleg Step Method) 


-个 修改 的 信和 来 战 算 法 的 执行 方案 是 Powell (1970) #3 t 0997 
线 步 方法 (dogleg step method). A PIR £j = Th+sp; 满足 | sel] = 
hi Powell (1970) 用 -条 折线 来 近似 s, 其 做 法 是 连接 Cauchy 点 
{ 即 由 最 于 下 降 法 产生 的 极 小 点 C.P.) 和 牛顿 点 {好 由 牛顿 法 产生 的 
极 小 点 ef), 其 连 线 与 信箱 城 边界 的 交点 取 为 zsrl (如 图 346.1 所 
Raph) WR erir] = Ae. 当 牛顿 步 oY K sY] < hr 
时 ， zepi 就 取 为 牛顿 点 . 

Dennis 和 Mei (1979) 上 发现， 如 果 在 信赖 威 和 只 代 中 产生 的 点 一 
开始 就 稍 向 于 牛顿 方略 ， 则 算法 前 性 太 将 得 到 进一步 改善 . 于 是 ， 
他 们 将 Cauchy 点 和 午 顿 方向 上 的 N 点 连接 起 来 ， 并 将 这 个 连 线 
与 信赖 域 边界 的 交点 取 为 ze (如 图 3.6.1 中 f). EEk, 
ae a, 更 偏向 于 牛 辆 方向 ， 我 们 把 折线 zk -> CP. zw， 
称 为 单 折线 ， 把 zk 一 OP 一 入 Sch, 称 为 双 折线 . 


图 3.6.] 折线 步 方法 和 观 折 兹 符 方 法 


对 于 二 次 模型 


gk} 


, 1. on we 
(te — age) = fhar) — allge] + FA 98 Gage, (3.6.23) 
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JL RIA on 的 显 式 表示 是 


ge 
gE Gegn 

如 果 
a! |Oeliz 2 Re, 

NUSA 


Ter! = Be — Argad ||9iliz 


(3.6.24) 


(3.6.25) 


(3.6.26) 


选择 双 折 线 的 一 个 特殊 办 法 是 使 它 具 有 下 面 两 个 性 质 : 


QA ACP A, ANA, Wel, 点 的 距离 


ER: 


(2) MA zk 向 CP, KORR Na 点 移动 时 ， 二 次 横 弄 


g(a, + 5) 的 秆 单调 下 降 . 
为 此 ， 我 们 考虑 


[sila = ge Ge 


px 位 ielzllGx gel 
oF Gade gL GF oe 


EAR N 
i alle Ey Is 


(al Guan) (oF Gz gn) | 


N 
= vise ly: 


由 Cauchy-Schwarz PERERA., yal, if 


iatl 


| Se, 


1 
i 


1° 


2 < alse], < Ise 


STR LRA N 可 取 为 


LR a-l 
r = th | G Gk, 


其 中 


这 样 ， 
Wane | aN | | ; 
2° — axl], < le” — asl), S flatly Er la 
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(3.6.27) 


(3.6.28) 


(3.6.291 
(3.6.30) 


(3.6.31) 


这 时 ， 上 讶 指出 前 第 二 个 性 质 也 成 立 ， 即 从 CP 点 到 评点 ， 二 次 
模型 g(a, +3) HRP BR. SEE, 


oepi(A) = ae t sit A(yay sih OS AKL (3.6.32) 
这 样 ， 在 tay fA) AA FEA 


Va engi ANT (nse — sp) 
={9 + Gust)? (ns 一 si) + Mays 一 ey — sf). 
(3.6.33) 
“4G, EEEN. LARARE 和 WS ATE 
OPA lL RELAAAM. MEM A= 1 时 上 式 是 负 的 即 可 ， 
Bp . 


(gu + Gus} (sg — sh) + (ns — sk) "Galas — sẹ) < 0. 
LAE T 
0 > ( —m) (ge (nex — 8§)} = (1 — ay — (of GZ ge). (3.6.34) 
yn <1 时 ， 七 述 不 等 式 满足 . 
因此 ， 双 折线 步 选 择 NAR RE 
k41 =a, bs. 97 € Cy. 2). (3.6.35} 


PUR. “nai, N 点 就 变 成 牛顿 点 ， 双 折线 步 就 成 为 单 折线 
步 ， 一 般 地 ， 取 = 0.84 十 0.2. 

在 产生 CP. 点 和 六 AUB, BRR REAR vey) (A) 由 13.6.32] 产 : 
生 ， 选 择 A 使 得 


Se + Alyse — ek) ||, = Bee (5.6.36) 
如 果 所 得 到 的 eg (A) A FBR 
pi < fen) + pgi (Ekai là) Fe) pe (0, 5): (3.6.37) 
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We ADE es Poe SI A eR. Or) 


不 满足 (3.6.37), HA yyy ie rp. 


83.7 AR PWG Ea Be 


fy Ted CAE, PBN YL BEE RH PT RE A 尤其 
STARA SA. RR Se, TR E 
WTEC HH TY ARE AD Ok A Et. TT, 我们 考虑 
解 非 线性 方程 组 F(a} = 0 的 问题 .读者 可 以 车 不 图 难 地 将 下 述 处 
BAIR AT OCHA Rae Cie. 
7G AS RR RE Fy PHL 


For) = 0, ' {3.7.1) 


EP PR" = R 具有 下 列 性 质 : 
(1) 存在 z* 使 得 F(2*) = 0. 
(2) E E E” AIER MERE aT pk. (3.7.2) 
(3) mer) 非 奇 异 . 
经 典 咎 顿 法 为 : 解 


F'(ny)8~ = —F (rx), (3.7.3a' 


> 


Tepi = ©, + Sh. (3.7.3b] 


35 RAE RR 


F'(ap)sp = —Flap) t+ rp, (3.7.4a) 
其 中 
Te g (3.7,4b) 
eye yy) & Tks of 
Eej] S i 


Eki 二 Ek 十 Sh. (3.7.4c) 
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这 里 mr = 下 (zs 十 Bfzx) ROR, {ye} 是 一 个 控制 不 靖 确 祷 
度 的 序列 ， 如 果 . nx = 0, 则 7. 4 就 是 牛顿 法 . 

FE RARI {ae} 一致 小 于 1 的 条 件 下 证 明 不 精 祷 个 帆 
法 的 层 部 收 敦 性 . 

引 理 3.7.1 HF: DOR" OR fk «x e D SSE Hh, 
Pla") FAR ME 6 > O,y > 0,2 > 0, HBA ly - vl < §, 
ye Dt, F'ly) 非 奇 异 ， 


HETH Sa 3.7.5) 


此 外 ， F’(yj 7! Æ r* 处 连续 ， 即 


[Eyy t Fa) TH e e. 13.7.6) 


IE $ os F(a") ||. 对 于 给 出 的 号 < ai, REO 使 得 
MyeD, |y—a*l < 6 BY, 


F(x") — F'(y)|| < 8. 


由 von Neumann 定理 1.2.3 可 知 ， F’(y) 可 道 ， 4 (3.7.5) 式 成 
¥, y=a/(l— Ba), 因此 ， 
[Eget — FA = FY) HF) FD (yy) 
< ay||F'(2*) ~ Fy) || 
say 


Sg, 


即 F' 的 连续 性 保证 了 其 道 (F')-1 的 连续 性 . 口 

定理 3.7.2 HFS R" OR” 具 有 性 质 (3.7.2). Hing} 是 一 
个 实数 序列 满足 0 Ste S max ctl 那么 对 于 某 个 <>0, in 
果 ||zo - x" < e, 则 由 木 精确 牛顿 法 (3.7.4) 产生 的 迭代 序列 {rx} 
WAS) ot, HA a PE, EDS 


lers — 2°], < tex = ella (2.7.7) 
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其 中 lye = LE a" ul 
HARE Pe") 非 奇异 ， 故 对 于 ye R" 有 


l tar i p : 7 3, 
zl yil < lyse < ellyt, {3.7.8a) 


其 中 
p = maz{ |P" (eHh Pe") I}. (3.7.8b) 
由 于 haas < i MTER ADH 7 > 0, 使 得 


(L+H) max( + py) + Quy] S t. (3.7.9; 
今 选 择 充 分 小 的 = > 使 得 如 果 jiy- 2*|| S pe, WA 
F(a) = Pla) < 7, (3.7.10) 
Fy) F's y, (3.7.11) 
Ey) — Pla") Pry = ahl s ily 2" |}. 
(3.7.12) 
设 eo- zti se 我 们 用 归纳 法 证 明 结论 (3,7.7), PRA (3.7.8) 和 
GARR BNA 
Jea =a] <len = e", < pe eh, 
< loo -el < pe 
FH, “y= eit, (3.7.10)--(3.7.12) 成 立 ， 由 于 
下 (zz +1 —z*) 
= F's 2") (xp a= £" = F'(p) F(er) 
+ F(x.) r] 
= Fw Fc) |E (ære — 2 — F(z) + re] 
一世 十 要 (人 国人 一 下 [二 人 Eee 


m F'(x")) {rk = av") ~ Fa). — Fla) — F'{(e* {zp - 5))], 
(3.7.13) 
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By ee, 并 利用 {3.7.8b) . (3.7.11). (3.7.4b} 、 (3.7.10) 和 (3.7.12), 
得 | 
erti = rti [E H E E a e 
[ieai + iE es) — F lje eh 
+ |E ler) -Fe 一 Re (zs 0°) h| 


< (+ py) [mli Flen] lle = a") + ier erl. 
(8.7.14) 


由 于 Fier) BT LAS AR 
F(ap) = [F(a {er — 2")] + (Flax) — Fle) F a"er — 2°"), 
[Fr (re) < Yee nil, + ijen "tj. (3.7.15) 
将 (3.7.15) 代入 (3.7.14), FAH (3.7.88) 和 (3.7.7), FE | 
naa = 2°], SO + 1) frais = 2°), + alee- e"l 
+ 2y|]t_ —2"]]) 


<(1 + ay) [Max + oy) + Quran — 27], 
sl -zl E 
下 面 ， 我 们 讨论 不 精 傅 千 屯 法 的 收 伍 速度 ， 为 此 ， 我 们 先 给 
一 个 引 更 . 
引 理 3.7.3 jk 


a0 


te tes 1 
a = max {Ete 一 38° aa, 
RP B= E |. 则 对 于 lly — 271] Hb. WAR 


i a | a ， 
zly — j < FaN] S elly — 2 (3.7.18) 
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证 明 ”由 玉 的 连续 可 微 性 可 知 ， 存在 充分 小 的 > 0, 使 得 当 
ly- res HT, l 


IF) -PEN EENS 区 2 BTD 
成 立 ， 由 于 FEU) 可 以 写成 
F(y) = [Fey #*)) + FG) - Fle") — Fle" — 2"), 
HOA DONA 


Fall < Ee" Dilly — 2" +E) — Ble") Fe) ly — 2) | 


< (IFE + ly -e"l (3.7.18) 
和 
FO E ET y t E) 
— F(a") — B'(a")\(y — e) 
> (IPEN = 5) -l 
一 aly —x*|j. (3.7.19) 
IH (3.7.18) #0 (3.7.19) 便 得 到 (3.7.16). cl 


定理 3.7.4 HER 3.72 PNR. 假定 不 精确 牛 
BLS ERAS fo} eee El oc” BA, SAMS 


Hrall = ol Eler) & =r oo (3.7.20) 


时 ， {a} BER PEM Bt BY 2”. 
HERB ”假设 [e] 超 线性 收获 到 x*. 由 于 
re =F (£R) + E" (ea Ekti — Ze) . 
={F (x4) — P(e) Fw") (vy ~ 2°) - (Fer) 
一 F'(z*}j (wp — zr*) 
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十 [F'(2") + (F' (rx) 一 本 (zj (£r — z*). 
到 范 数 ， 并 利用 F 的 性 质 (3.7.2) 和 {on} 的 超 线 性 收敛 性 ， 得 
rall SE (xx) — F(a") — F'(a"} (a, — z*)| + E (Tp) 
— F'{x*)|||lee — 2*|| + [HE (Ca) + Eek) 
— Fz) ers = 2" | 
=o([|axz — æi) + oler — "|| + fF EH 
+ o(1Jo(jex — 2*]]}. 


因此 ， 利 用 引 理 3.7.3, BB, 4k oo 时 ， 
ra = ozs ~2*||) = off Fan). (3.7.21) 
KL. BB lirai] = (FEl). H (3.7.13), 可 得 


erri- 2] < (Pe) Ee 
= F(x) |) (ileal + FC) — Fela — 2" | 
十 [Fier — Fz“) — F'(x*)\ (an 一 rz*)||) 
= (PF Ta) | + 0(1}) {oF Geel) + ojee — x*|| 

+ old|zx — 2*|])). 

四 此 ， 利 用 引 理 3.7.3, 得 到 
zeii 一 2 = ol F(Z) + flex — 2* ff) 

= ollzx — 2*|[). 


这 表明 了 序列 {oe} RR TW ee. D 
下 面 的 推论 指明 了 序列 {ph OR Ee e SOE R E 


啊 . 
推论 3.7.5 ”假定 不 精确 牛顿 法 产生 的 序列 {on} 政委 到 ar, 
AB, QR {ye} MARA O, 则 序列 {zr} ER PE EY z*. 


证 上 明 如果- 


lim k = 0, 
ko Se 


Mi 
lim su irl 
toe Fall 
30 FE AH |r a || = off [Pea DAA Sie EE 37.4 直接 得 到 ， J 


本 节 介 绍 的 不 精确 牛顿 法 可 以 应 用 十 各 种 牛顿 型 方法 , 尤其 对 
于 大 型 问题 将 会 收 刘 很 好 的 效果 . 作为 这 个 方法 的 一 个 应 用 ，Siei- 
haug (1980) 握 出 了 解 大 型 最 优化 问题 的 不 精确 拟 牛 顿 法 ， Dennis 
and Walker (1985) 也 讨论 了 氛 和 牛顿 法 中 的 不 精确 性 问题 . 


83.8 附录 : 关于 和 牛顿 法 收敛 怕 的 Kantorovich 定理 


作为 本 章 的 一 个 结束 ， 我 们 给 出 一 个 附录 . 介绍 Kantorovich 
(1948) 提出 的 Banach 空间 中 牛顿 尘 收 合 的 … 个 著名 定理 ; CBR 
非 线 性 方程 组 和 极 小 化 问题 的 理论 基础 . 

考虑 船 非 线性 方程 给 


Fz]=0 rex, (3.8.1) 
X ge Banach 空间 ‘bk RA 
Lined = Um 7 Fien) EF Em), m = 0,1,2,0. (3.8.2) 


A TAUER MA Rieg Taylor 定理 及 其 推论 . 

定理 3.8.1 (Taylor iE) BEER Uirogr) P Fir) na 
i, r> 0, Fa) Wn BP Fe) 从 x0 到 任何 zi e U(x0,7) 
AJAH, MY 


n—l 
4 ` ~ 1 i fi aa gp 
F(z) = F{zo) + 5O Pr ue ~ zo)? + Ra(to,e1), (3.8.3) 
k=l ` 
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其 中 
{1 - oy 1 


“1 
Ralo) = f FH ag + (1 -peoe — ro)” TEEN da. 
“e (3.8.4) 
证 明 Mória AA. 4 ne = 工时， 用 (1.2.67) 


H] Ae HE BR. RIT n= m— 1 定理 成 立 ， 设 
(1-—ayn 


QP) == Tm 1: (3.8.5) 
则 ye 
t — 1- pen 
Q'(8) = tay (3.8.6) 
Xit 
T(@) = FeV (Oe, + {1 — 人 xzojfzl — egy", (3.8.7) 
则 
T0) = FOM a, + (1 — Axia — a). (3.8.8) 


因而 由 (3.8.4), (8.8.7). (3.8.8) 和 分 部 积分 法 则 ， 得 


] 
Ro aleoa) = — f TQ (08 
0 


—T()Q() ~ T(0)9(0) + 了 TI(9)Q(9)dB 


E 1 
~ (m-—1)! 


1 
FOD (zo) — 20) + f POO Oe, 
ia) 


+ (1 — Arar — so) 


1 
一 一 -一 一 下 ie (walle, ~ ro)" + Re (eo, 21). 
(mn — 1) (3.8.9) 
这 重出 归纳 法 证 明了 (3.8.3). J 
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推论 3.8.2 WE F(x) ER Ulo r) 中 满足 定理 3.3.1 的 假 
E BA 


n—1 


1 
[re — y k! = F™ (xoa 一 oji| 
| k=0 “ 


(3.8.10) 


< mp rm 


wehien ey 
其 中 L(g 91) 表示 连接 ro 和 和 a, 的 线段 . 
证 阴 ”直接 从 Taylor 定理 得 到 . o 
PEM AMAL. H (3.8.2) 定义 的 牛顿 序列 {zw} 的 极限 将 
蚌 方 程 组 (3.8.1) HR TEBE 
Xx” = lim fm- {3.8.11} 


He 


定理 3.8.3 MRF feo EA, BA 
Fic*) =0. (3.8.12) 
证 明 HA {z;,} 满足 
F"(tm)(fmn41 — Tm) = -F (am). (3.8.13) 


由 于 天 在 2 处 连续 , Ae E t 处 连续 . 对 上 式 取 极限 m — 00, 
便 得 (3.8.12), g 
定理 3.8.4 如果 在 上 时 个 包 合 序列 {em} 的 闭 球 上 ， 


LE Dl Ss M, (3.8.14) 


证 明 不等式 (3.8.14) Fi (3.8.10) 意味 着 


im Fm) = F(x"). (3.8.15) 
由 (3.8.10) 、 (3.8.13) 和 (3.8.14), 有 
IF (endl S Mei 一 zw 3.8.16} 


“Fi, “om — oo IM, (A Fla") = 0. a 
定理 3.8.5 ”如果 在 其 个 包 售 序列 {rm} 的 闭 球 如 [x0,7)， 
0 <r oo E, 


HE” S K, (3.8.17) 


PRA, FF fam} 的 极限 x*” 是 (3.8.1) HA 
证 明 ”不等式 (3.8.17) 和 (3.8.10) RRB 


Eiz) — Fro < Kle- roli < Kr, Ve €U(20,r). (3.8.18) 
x 
[E H] < hE eol] + |E æ) — F (zo) < ||F"(20)|| + Kr, (3.8.19) 


外 而 定理 3.3.4 的 条 件 满足 ， 于 是 结论 得 到 . o 
下 面 ,我 们 给 出 解 非 钱 性 方程 组 (3.8,1} Peay Kan- 
torovich 和 定理 ， 
BEARTA zo 开始 ， 并 假定 [Fro 存在 ， 这 样 可 以 计 


算 
Ti = Ty F'{zxo) F(a). (3.8.20) 


设 存在 常数 o, TOs 使 得 
[E (20| & Bo, (3.8.21) 
[zi — all < mo. (3.8.22) 
定理 3.8.6 (Kantorovich 定理 ) a FLARES PARR OU (za r) 中 


JES K, (3.8.23) 


„1l , 
ho = fomo K < 5: (3.8.24) 


1 一 wl 一 2ha 
=; 


Tere -— h Tos (3,8.25) 
0 
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WA A ro 开始 的 牛顿 序列 (3.8.2) 将 收 襄 到 (3.8.1) 的 解 r“, 
ree Ufro). 

征明 ”用 归纳 法 . 一 般 的 归纳 步 等 价 于 从 zo 到 z1 的 情形 ， 
因此 ， 我 们 从 mm BA WTAE OAR r1. 

MA (3.8.23) 和 Taylor 定理 的 推论 3.8.2, 有 


|E") ~ Fso) < Killa. ~ rol < Km. (3.8.26) 


再 利用 (3.8.24), 上 式 是 以 写成 
1 


, 1 
Fz F'(xeg)|| < Kno < < =. (3.3.27) 
| | 1) ol ~ 加 SS 23o [Fz] ‘ i 
由 von Neumann 定理 1.2.3 HÆ., F'(2i)! fe. E 
iF (arg )—2 li 
EACE TOU nd (=o) i TAA 
I- [Feo Er) — F fzo) 
Bo 
= — 
1— Bom K 
hoa 
= m SO, (3 oR) 
ae Soh. (3.8.28) 


A, Be APL AR RST E ra 为 了 估计 lies- ell 注意 到 


læa- zi = F(z) F (æ), (3.8.29) 


而 由 定理 1.2.3, 


Fr) 1 = (> {F- F'{xq) l PEDE) Eeo 


kal 


7 (> {E leu) E (xo) — F'(es)]} ‘) Fagin’. 
k=0 (3.8.30) 


FA (3.8.21) 、 (3.8.27) 、 (3.8.29) 和 (3.8.30), 得 到 
l 1 
-zll < —->—_ || F(a) | 
z2 — zl i mK E 2o) F(2x,)|! 
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-eo Fe 8831) 


为 了 估计 ||F' (e) Fle), SBT 


Hix) = 2 Fleg Fla). {3.8.32} 
H' (zo? 一 了 一 fo E' (ag) = 0. (3.8.33) 

MAL (3.8.32) 
Figo F(x} = 21 — H(z), (3.8.34) 


注意 到 zl 二 五 (zy) 和 (3.8.33), 于 是 (3.8.34) 可 以 写成 
Eizo) Pjr) = = 一 五 (zl) - Hap) — H' (ag) (ay o zo)? (3.8.35) 
这 样 ， 出 推论 2.8.2, 


2 
Ero EF] x sup = AP Czy I lzi — rolt, (3.8.36) 


TEL rga) 


由 于 cy € Visor), 如 果 (3.8.33) 成 立 ， 则 在 Lzo, zr) E. 


IE Ol < Bok, (3.8.37) 


Pi H {3.8.31) 和 (3.8.36) 得 


1 Bok ne 
i — ho 2 


| 22 -rl < 


am a (3.8.38) 
a 1h =ne 
EER, i 
m <= z (3.8.39) 
于 是 ， 
2 1 ho 


hi = Dimk = 一 1 ho 5 1— ho TK 
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一 ~- She gL, (3.8.40 
2 (tho? SS 3 ‘ 

效用 oy (REF eo 时 ， (3.8.24) 成 立 . 

SEE 
1 — vi - 2h, , 

rp on acre {3.8.41} 

h: 

如 能 证 明 

Dx, r} Z U(ro, ro) (3.8.42) 


则 用 21 FRE zo 时 ， 条 件 (3.8.23) 将 成 立 ， 轴 直接 代入 可 知 ， 
-一 hg 1/2 _ I 
Vi = (1- pÉ) = Ta K Y} eho 


_ 1a ho) Vi-2% 1 ho 
I 21—h 
了 37/ 一 到)] i 
_ {l= vi= Bho _ i 
ho no 
= ro — 7o. (3.8.43) 


因此 ， 如 果 rE (ririh 那么 


Ho 


e> i|| Sry = ro — m, 
从 而 
e - eal] < ile — siil ~ fle, — zoll < ro — mo + = ro. 


这 样 ze O(xo,ro), ERAT (3.8.42). 

由 数学 归纳 法 可 知 ， 从 zo 开始 ， 和 牛顿 选 代 (8.8.2) 产生 -个 
满足 定理 假设 条 件 的 序列 fan}. 剩 下 的 是 要 证 了 明 这 个 序列 收 敏 到 
(3.8.2) KAR x*. 

相应 于 序列 {tm}, FETE SPF m} a {thn} a TP} 如 
F: 


_ Bm- 


By, a > 
f 1 7 hmi 


(3.8.44) 
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SEFE ees ae | de ea 


Thm = L Rm Le {3.8.45) 


4 


21-Rm1 
1 h2 
hm = m—1 (3.8.46) 


2 (i 一 fe)? 


我 们 有 
2 1. 1 am 
hm Z hm- S Klm- SE 5 (ho) ; 
(3.8.47) 
1 Am-1fm— 
Tha = 3 are S Am—itm—1 S bm—1tm—2lm—2 
< 


2m 


1 zh . 
所 gm (2ho)? * (2h) +++ (2ho} mo 
1 


== gmi (ho)? no. (3.8.48) 
对 任何 正 整 数 P, Tm+p z U(äm, Tml 使 得 
[en tp 一 | Som 一 ee & hm- (3.8.49) 


将 (3.8.48) 代入 (3.8.49), 得 


1 ym 
I|?m+p 一 tml S zaai?) “Ho. (3.8.50) 


这 表明 {rm} 是 Cauchy 序列 ， 从 而 它 有 极限 x* EU (eo, ro). 从 定 
H 3.8.5 WS, 2° Æ (3.8.1) 的 解 . 这 完成 了 定理 的 证 明 . 口 
Ortega 和 Rheinboldt (1970) 利用 强 哨 数理 论证 明了 解 非 线性 
方程 组 的 和 牛顿 法 的 收 但 性 . 这 里 我 们 仅 列 出 两 个 定理 , 对 详细 内 容 
和 证 明 感 兴趣 的 读者 请 参阅 Ortega 和 Rheinboldt (1970). 
定理 3.8.7 (HA AREKREM) Ger: DCR > 
RUE DCD 上 下- 可 微 ， 


UE E) = FD s yle- yl Ysy € Do, (3.8.51) 


假定 存在 xo © Do 使 得 LF’ (zo) "|| 5 8 Mas Byn < 
n> |E o 4 F (20). > 


其 中 


bo | H- 


t = (89) "i (20 = (Sy) AL + (1 2], 
(3.8.52) 
假定 N (a0, t*) = {e | |x — zoll < h, N (a0, t) = {elle — zoll < 


t} C Do, 那么 简单 牛顿 选 代 


tee = tk — Pro lF (zp), &=0,1,--- (3.8.53) 


HEL PE Nâo t) p. AERE Fiz) = 0 的 解 r. © 
N {zo t") O Do 中 这 个 解 是 唯一 的 . 
证 骨 [证 法 一 M, Ortega 和 Rheinboldt (1970} Th. 12.6.1. 
O 


证 法 二 ] ”我 们 将 证 明 映 射 
olz] = r — F' (roy 1 F(x} (3.8.54) 


E N (rot) 上 是 压缩 映射 . 
由 假设 ， 对 所 有 eeN {ent 有 


F'(ro) 1 F(x) =F" (z9) F (x0) 
1 

+ P(x) f F' (£o + tæ ~ zo })(a — ae dt 
全 


=F" (z0) "l F(ao) +g = zor Fr ! 


I 
. | (F'(£o + te — 20)) — F'(zo))(2 ~ to)dt 
0 (3.8.55) 


和 
plx) — zo = — F'{ao) F (zo) 
— F' (zo)? / (F (w0 + tir ~ a)) — FlzoN (rz — wo de. 
o . 
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因此 ， 
(a) — roll < + By /2= tt. 
ZEH 由 映射 N (rt) 到 本 身 . 
由 于 对 所 有 z € N {xo 0"), 
é{e}= F- F'(xo) F(x} 
= F" (xo) {E (a0) -- F'()); 


故 
leol] < Irje — aol] < Byt* < i. 


因此 ， 对 所 有 T, yE N {zo t"), 有 


i 
lele) -wo = | | s+ ue -we -wa 
< Byt" le — yll 


注意 到 Cyt" < 1, 这 证 明了 o Æ 丈 (zo,t) LER RBH. HEM 
Beat af BB, E N (co, t*) 上 存在 $ 的 崔 一 不 动 点 o*, 并 且 {r} Q- 
A HERAA a”. 

现在 我 们 再 证 明 解 六 在 N (ro t") n Do PMH. mÆ 
Do 就 是 N(xo,t*), 则 结论 已 经 得 到 如果 Do = N(zo i) E> t, 
我 们 必须 证 明 : 对 于 所 有 z 满足 


t* < te ool < min{t, t**) 


Af, F(x) #0. 事实 上 ， 设 = |lz -zoll, 由 (3.8.55), 并 注意 到 
Bart 有 


|F'(z) F(x) 2T- ĝyrT?/2 > 0, 
从 而 结论 得 到 .这 样 我 们 完成 了 定理 的 证 明 . a 
定理 3.8.8 (Newton-Kantorovich 定理 ) ”假定 定理 3.8.7 的 条 
件 成 立 ， 那 么 牛顿 选 伐 


Ber = £e ~ F' (a F(z) k0, 1, (3.8.56) 
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有 意义 , 保持 在 N (a0, t") 中 , ARE P(e) = 0 E N (a0, t) Do 
内 的 唯一 解 a*. 此 外 ， 误 盖 佑 计 式 


ze 一 | < (8725 (2a)” ,k=0,1,..- (3.8.57) 


R. 
-证明 J Ortega 和 Rheinboldt (1970) Th. 12.6.2. J 
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SOS Ree BS 


$4.1 HEDH 


LRA MEAT TRA FEH CHE ZE MPH. 它 
Min AAR SPER, GRIRT Re RHR. 
Ba THCATAEREM REMUS. RARE 
MAGE RAR MELEE BEE TAE BSE BE" oR 
BE cH A Se) A Ee YK SEA m PR A BS FEE 
E PESTS A A (RA SESO A Se. 

定义 4.1.1 HG ten xn SPIER. d,d Æ n 锥 非 
FaR, MR di Gd =0, WME di 和 da 是 G- egy (或 G- 
H w). . 

类 做 地 ， 设 由 ,号 ,gdm 是 BR" 中 任 一 组 非 零 向 量 ， 如 果 


df Gd; =0, (47). 


MBK dy, dn 是 Ge aay. 

显然 ， 如 果 dd, Æ G- SLSR RE PAPER. 
WR G == 7, MERRER S PF A ee EE. 

ARSE SOA a Rn F: 

算法 4.1.2 (RHEA IK) 

ee z* 的 初始 点 £o, 

步 1 计算 gm = glzo). 

步 2 Tt do, WE dE go < 0. 


一 


183 > 


步 3 &k=Ù. 
步 4 计算 Ck 和 Che4dy 使 得 


FE + ond) = min f(xy + ad), 


Pep = Tk + andy. 


步 5 计算 dey HS dl, Gd; = 0,7 =6,1,---,k. 

#6 Sk —k+1, BH 4. 加 

共 轿 方向 法 的 一 -个 基本 性 质 是 : 只 要 执行 精确 线性 搜索 HE 
fh El REE IE PE. 这 就 是 FAO SEAR EEA EE. 

定理 4.1.3 (HEA HAE AEE) pi Re “ew ae. H 
MA MIAB SL n DRM RABRA LL: AR a4, 都 是 fix) 


在 zo 和 方向 do, 机 性 (ol 


raat ajdi, 
i=0 


vo} ok AOE NA 
IE AAG ERRANS dy dh, BEEK, KIUR 
证 明 对 所 有 iS n-l, 有 


ghaid =9, j= e,i, (LLI) 


{ 即 沿 流 形 中 的 任何 直线 的 斜率 为 零 ), 就 可 得 出 定理 的 两 个 结论 . 
事实 上 ， 由 于 


二 1 ORG (4.1.2) 
MAM 7 <i it, 
gd == ods T > yi dj 
上 志 一 了 十 
= glad + DY and? Gd, (4.1.3) 
k=j+1 


二 0. 
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FAD AY EOE RAE BM Mji 
In READ o A 


gf ay = 0. (4.1.4) 


MAIE (4.1.1) BR VE. m 

EPERERA. 但 相当 重要 , E E AE REA HRG 
ARAM. A TERE, TRR TERR AFETE, HAEA I) RE 
WEAR (41.1). 


E411 ATTA ENE (4.1.1) 


最 后 ， 我 们 还 应 该 指出 下 面 的 事实 所 包含 的 共 轰 性 的 基本 含 
义 ， 设 极 小 点 可 以 写成 


一 
z* = zo + > erdi, 
poet} 


一 般 点 可 以 写成 p 
T = Zo + 5 ifi 
i=0 


HACKAR A A 


, 下 
gla} = ha -rY Gle- a+ e, 


BS EEROR d, 有 
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一 {a — a) STOS( —a*), 


其 中 5 =[do,--- dnl. HT di EAE HC 


nol 


ee 
i=0 

其 中 ， Ay Hd Gd. 于 是 ， 通 过 选择 ai = of, i= 0,1,---,n-1, 

即 可 使 glo) 极 小 化 , 这 等 价 于 在 r- SRR. A, 

HEERKE G 到 一 个 新 的 o- 坐标 系 的 对 角 变 换 SPOS, IK 

坐标 系 中 变量 是 芷 相 分 离 的 . 于 是 ， 一 个 共 纯 方向 法 是 在 新 坐标 系 

中 的 一 个 交 夫 变量 法 . 


§4.2 HRE 


4.2.1 FoR RIE 


SERRE: Bm Se MPA MIA. EA SCH Hestenes 和 
Stiefel (1952) 握 出 来 作为 解 线性 方程 纽 的 方法 . 由 于 解 线 性 方程 组 
等 价 于 极 小 化 一 个 正定 二 了 欣 玉 数 , 页 1964 © Fletcher 和 Reeves #2 
出 了 无 约束 轰 小 化 的 共 印 梯度 法 ， 它 是 直接 从 Hestenes 和 Stiefel 
解 线性 方程 组 的 共 辊 梯度 法 发 展 而 来 的 .其 罗 方 向 法 基本 定 埋 告 
DREN), Fea ME HG ee PE ee SIME. SEE 
FPR RUM TRS MA AME, Minti Gok E Ty eet oat ge 
性 . Pmt ik RBC HR HORE. FRA Se ee 

设 


1 , 
fir) = st Ge+tod' ne, {4.2.1} 


其 中 如 是 nxn SRO. 6b 是 n x1 向量 ，c 是 实数 . f 
的 梯度 为 
gle) = Gaz +b. {4.2.2} 
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dy = go, (4.2.3) 
则 
出 1 = o 十 aodo, (4.2.4) 
小 畏 确 线性 搜索 性 质 ， 
| gi do = 0. (4.2.5) 
令 
dy = =g + Bodo, (4.2.6) 
TK HE Bo, 使 得 
df Gdo = 0. (4.2.7) 


对 (4.2.6) RERA di G, 得 


T Ti, | T 
a= Gdh _ orto go) _ JEN (4.2.8) 
dj} Gdo då (g1 — go) Jo #0 


Ash He Ty PERE AE. 93 di =0, i = 0,1. A (4.2.3) 和 (4.2.6), 
DEN 
gg =0, gpi. (4.2.9) 
xe 

dy = —g2 + fodo + didi, (4.2.10) 


选择 By 和 B,, iG dg Gd; =0,7=0,1. 从 而 有 


fa = D, 
T T 
$2 (92 — Gi} 92 92 

a= =>: 4.2.14 
! dF(@—g1) gn ( ) 

kl 
dy = -gr + >) Bidi, (4.2.12) 

al 


- 187 - 


选择 Ai, 使 得 dP Gd, = 0,2 = 0.1, +k 1. 也 假定 


ghd; =0, gig =0, 1 =0,1,---,k-1, 


对 (4.2.12) HWS, jf =0, Le, k— 1, 则 


g, EG E+ ~ 91) 
” G Gd; diigis g) 


j=0,1, kA L. 


FH (4.2.13), 


gh gj = 0, J=0,1 Lk - 2, 
Sh gj = D, j=0,1,---,k-1, 


eH By = 0,7 = 0,1, 一 2 和 


gh {gw — 9-1) Rk 
dy lf — gk] Ge Gk 


By -1 


Bic, SESE PA RENS AOS at A 


Tree = Fy + rdg, 


Rp, EDR HS. 


一 般 地 ， 
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or 由 精确 线性 搜索 得 到 ， 


desi = —9e4i + kk, 
_ Gia Get — gx) 


Be ~—— 【Crowder-Wolfe 公式 ) 
df (gt .1 — 98) 
T i 
= SEESE (Fletcher-Reeves 公式 ) 
EHER 


(4.2.14) 


{4.2.15} 


{4.2.16) 


4.2.17) 


(4.2.18) 


(1.2.19) 


{4.2.20} 


BRP RAMA AA 


Gap algae =A) 


A = F , (Polak-Ribiere-Polyak 公式 ， 
Fh Fk (4.2.21) 
T . 
a = St (Dixon 公式 】 i (4.2.22) 
d; gk 


由 上 面 购 公式 可 见 , HRR (RR SRF Be Re A. 但 “ 
却 共 有 二 次 终止 性 ( 即 对 于 二 次 函数 ,算法 在 有 限 步 竹 止 ), 所 以 共 
Ag BR RE IAF PS RE | AY AP. 

“FAY LST HARRER NE EE: 

定理 4.2.1 (AARI AED EE) GARR (4.2.1) 定 
X, MUSCAT ZR PES Se ao EU BBR m< n Ak, Ex 
MA l<iscm Ror FIKAR: 


diGd;=0,) | (4.2.23) 
T 了 二 a, Lee if = i, 

95 93 = 9, (4.2.24) 
d] gi = oe (4.2.25) 
(go, g15---. 94! = [go Cgo G go], (4.2.26) 
fdo, dy, -- “a = |g0,Ggn,---,G* go]. (4.2.27) 


ERA PSC RANK UE AA (4.2.23)--(4.2.25). WF i = 0, 
(4.2.23) 和 (4.2.24) 无 意义 ， 由、 do = 一 名; 上 (4.2.25) ma 令 设 
这 些 关 系 式 对 于 其 个 1i < 和 nm 成 立 ， 我 们 证 出 对 于 i 二 1, 这 些 关系 
式 也 成 立 ， 

对 于 二 次 函数 (4.2.1), ERA 


gii = fi t G (Zigi o Ei) = gi + aG, (4.2.28) 


ERER d, 并 注意 到 o 是 精确 线性 搜索 因子 ， 得 


T 
.— Ki di — gi ği Fa © 
ay = Gd, ~ Gd, 关 0. (4.2.29) 
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利用 (4.2.28) Al (4.2.16), 得 


9-193 = gi 9; + od Ga; 


=g; f; — ay di 'G(d; 一 id). 
(4.2.30) 


4 j=i At. (4.2.30) 成 为 


gg = HF gi se dj Gd, = 0. 


汝 了 < eM, (4.2.30) 式 直接 由 归纳 法 假设 可 知 为 零 . 这 样 ，(4.2.24) 
再 由 (4.2.16) 和 (4.2.29), 有 
dT Gd; = —g?, Gd; + Bid? Gd; 


= Gi lg — gt) + Bidz Gd. 
(4.2.21) 


Mj =i, oy (4.2.24), (4.2.29) 和 (4.2.20), (4.2.31) 成 为 


T 加 
人 Gd 一 Gd Bande gr Ga, ~ 0, 
当 7 < 时， 直接 由 归纳 法 假设 可 向 (4.2.31) 为 零 ， 于 是 (4.2.23) 
证 得 . 
由 于 


dl gi = 9) Jii + Bid? gipa 
= 9541941; 
因此 ， {4.2.25) 得 到 . 
最 后 ,我们 用 归纳 法 证 明 (4.2.26) 和 (4.2.27) R. Hi=0 


时 ， 辣 论 显 然 成 立 ， 今 假 定 结论 对 i 成立 ， 我 们 证 明 辣 论 对 i+ 1 
也 成 立 . 由 于 


41 一 页 十 上 ie， 
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而 由 归纳 法 息 设 可 知 ， gs 和 Gd; 均 属 于 子 空间 


[go, Gogo a G go, Gt go], 


# gist E [go Gg GH lgo. 进一步 ， 我 们 要 证 明 


giti É [90,Ggn.---, G go] = [do,---, as). 


HA ESATA, odp,---. di -ARATE ARA yA 
定理 存 


Fi+1 L B; = ldo, ea d]. 


若 | € igo, Ggo,' Ego] = [ao，…， 4], 员 必 和 在 4i-1 = 0, 产生 
T 因此 ， 我 们 得 到 


[go,91， nut i+] = [gn, Geo，… T: GHI go]. 


利用 dia = 一 +1 + 5idi WHAREI, Æ] (4.2.27). 
口 . 

在 这 个 定理 中 ， (4.2.23) RaR A HIRIE. (4.2.24) 表 
TRE RES LEE, {4.2.25) E7 rE, (4.2.26) 和 (4.2.27) Æ 
示 方 向 向 三 和 梯度 向 星之 淹 的 关系 ， 这 些 子 空间 通常 称 为 Krylov 
子 空间 . l 

HTAR, HARRA PRERE AT ax H (4.2.17) 给 
H WEE 4.2.1 所 述 ， 这 个 方法 m (m cn) PRR, EE m 
是 G 的 相 异 特征 值 的 个 数 . 

对 于 一 般 日 标 函 数 ， of 由 精 礁 线性 搜索 过 程 给 出 ， 或 者 用 
较 精 确 的 Armijo-Goldstein WMJ,  Wolfe-Powell 准则 导出 ， 例 如 
o=0.2. HEMT RP OAM. no RR ER 
搜索 方向 dy 不 再 共 辑 ， 央 此 ” 步 以 后 我 们 宿 于 周期 性 地 采 几 最 速 
下 降 方 向 作为 搜索 方向 ， 即 令 


den = Sien, c= 1,2,---. 
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eh AE OU PH RAR. Ae, PE saui 总 
比 ro EFE e, AR HERA AGREE A fe) st 
E CF ie ADL A AY RN, FR ATK RA. TK 
AY i ES ME BT te, EB E RIE RET 
ZP kan PB AS x. 

Fa FF fg SE BB ETE ORAL RARE. RH 
WERFEN, BEE E R i. GRE Ba A Ad 
SAMAR PRE. Boek. AT 


Op de = gk Gk + 19k de, (4.2.32) 


WFR ZE Ail — RIK (ROR BA ELE RK, M Tdri = 0, 从 而 有 
Gp dy 二 一 上 gx < 0, 这 保证 了 ds 是 一 个 下 降 方向 ， 如果 在 机 一 次 
迁 代 中 采用 的 是 近似 线性 搜索 ， 那 之 Bol dy. 可 能 是 让 的， 并 
县 一 级 9 一 成 -498dk 1 可 能 大 于 零 ， 这 时 di 将 不 是 ~- 个 下降 方 
向 ， 我 们 需要 重 置 di 为 gs. 但 是 ， 如 果 频 繁 地 利用 最 速 下 降 方 
向 作为 搜索 方向 ,将 大 大 前 聊 共 辆 榜 度 法 的 效率 ， 测 使 算法 的 性 态 
变 得 更 象 最 速 下 降尘 .下面 的 检查 措施 可 以 克服 这 个 困难 . 

设 Frar: Akti Ik 分 别 表 示 geti,degi W Gp 在 点 ey t+ afd, 处 
的 计算 值 ， 其 中 {04} 是 由 步 长 算法 产生 的 试验 步 长 序列 ， 如 时 


-Fiii 2 ori llela lla (4.2.33) 


其 中 o 是 一 个 小 正 数 ， 刚 步 长 因子 of 作为 ak， 如 果 在 任何 试验 
点 ， (4.2.33) 都 不 满足 ， 则 需 用 精确 线性 搂 索 产生 步 长 因子 oi 
下 种 的 算法 给 出 了 采用 精确 线性 搜索 的 再 开始 共 斩 习 度 法. 
Wik 4.2.2 (再 开始 FR JC RARER) 
给 出 初始 点 xo, AR e> 0. 
步 1. 令 上 =0. 计 算 go = gizo). 
步 2. 4 ||goll s e, EREI, 输出 z" = xo; 否则 , 令 do = — go. 
3. 一 维 搜索 求 ex, 使 得 


fla, + ard.) 一 min{ f(z. +ad,) | a 20}, 
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oA fe il 三 站 十 celp kirk dl 


ie 5. 计算 gx = gler). 


Hay BVI “2 


a Bay 


ERROR er MER 


Jted EmN fn al Vern) 


计算 g ei) 
否 


di &, eu 


图 4.2.1 再 开始 PR Se 


19 


" 


步 6. HORE lon |] <2, IER TRE T. 
#7. E kom 邻 rois rp 并 转 步 1: SES 8. 
步 8, 计算 


a= Gh 9% / Ge Nk] @ = gk + dki. 


步 9. Wdig > 0, 令 zo := wr; HEE 1; 否则 转 步 3. 

下 面 给 出 了 实现 这 个 算法 的 框图 ! 见 图 4.2.1). 

CEG Sr Rae Be EE PP} (4.2.19) 一 (4.2.22} 中 ,Flatcher- 
Reeves 公式 (4.2.20) 是 1964 年 首先 所 出 来 解 极 小 化 问题 的 ， 这 个 
公式 几 得 最 普遍 一般 地 ， 它 并 不 保证 算法 具有 上 卞 降 性 质 ， 改 需 采 
用 精 礁 线性 搜索 保证 算法 乓 上 月 下 降 性 质 . 而 Dixon 公式 (4.2.22) A 
TTP MEU, FELT Ue Mie ae A 


-O 


~ 


lakte > ogede O<o<]l 
下 ， Dixon 公式 满足 
di gu <Ü, 当 Fk £ 0 时 ， 


因此 ， 这 个 公式 也 称 为 共 皂 下 降 公 式 . 

Polak-Ribiere-Polyak 公式 (4.2.21) (简称 PRP 公式 ) 具有 自动 
再 开始 的 显著 优点 、 当 算法 前 进 很 少时 ， 会 出 现 gepi = gr 这 时 
PRP 公式 产生 的 Spo 0, BUE dki = 一 gp41, IBIS A ses 
RIAS GREAT PT RE Ba A. TRO BEY, a- 
些 大 型 问题 ， PRP Ast Ree. 


4.2.2 Beale 20 4M IRIE 


Beale (1972) ak T SWIRE. 其 思想 是 :在 再 开始 时 ， 
负 梯 度 方向 不 … 定 最 好 , 特别 是 频繁 地 采用 负 梯 度 方向 再 开始 时 ， 
算法 效率 会 隆 低 .而 继续 沿 着 原来 的 方向 搜索 征 往 效果 较 好 ， 记 
以 ， 当 需要 在 zi 点 再 开始 时 ， Beale 考虑 继续 以 咎 水 产生 的 方向 
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d TEA BT AE AT TP RB OT gE. FP ORY A 
(ay PH FIA AL TA HE 


A> 
di1 = -i+1 十 Opty, (4.2.34) 


dy = gk + Yk 1h t faidi ad + Beate. ay 
{十 tt 一 1 >k Bt+ 2), (4.2.35) 


£5 DHE RIAR A HE TÆ M da 与 de SE de 与 de dig, 
dai ZEE A LAH 
P gi Gdp: gi Gd 
dp = dt Gd “k1 = F : 
R11 dj Ga, 
J= jstrd,---,k-2. 


于 是 ， (4.2.35) 式 简化 为 


dk = — 9k + Bp_idg—1 + Yr—1d:, (4.2.36) 


其 中 
T ` 
Z Jk (gr 一 tea! 
Be = op g 一 4.2.37 
df 1 (9x — 9r-1) í ) 
t 当政 二 t 十 1 时 . 
Yk-1 = 9h (gir — gr} 
Se Be, 
df (gt41 — ge} 时 (4.2.38) 


注意 到 由 Beale 方法 产生 的 达 代 点 zf 是 线性 流 形 


By) = £i + [da dia dka] 


= i + [di ge, , 9%-1] 
上 的 极 小 点 ， 于 是 有 


ge L ide, dega.---,da—a], 
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ge L dis Gerry gk1]. 


F is Hi AGH ah (4.2.36)—(4.2.38) 的 Beale 算法 . 

算法 4.2.3 (Beale-PRP HEREA) 

步 1. RIR to. Wh = 0, t=0, 计算 go = ola). Æ ||gol| 
ge, WE hits a+ dy = 一 go. 

步 2. 用 精确 .一 维 搜索 求 o 

步 3. veg. = te t+ ands, B kis ktl, 计算 gn = gry). 

步 4 如 果 la Se. 则 停 让 计算 ; 否则 转 步 5， 

步 5. Ke ie FAR BG ae: 


(gige) > 0.2\|gei[*, 


k tn—l. 


若 两 个 条 性 都 不 成 立 ， 则 转 步 7; 否则 转 步 6. 
步 6 Bta=k—-1. 
wT RAR (4.2.36)— (4.2.53) 计算 dj. 
步 8 Bk >t+1, 转 步 9 否则 转 沙 2 
步 9 ”如 果 不 等 式 


—1.2hg.l? & di gr < —O.8|| gull? 
Bee, MUSE 2: 否则 转 步 6. = 
4.2.3 RAH MHS 


FATT HRCA AE, NI RE RD tho 


， l ~ m 
F 一 a Gr- rte, (4.2.39) 


就 是 计算 线性 方程 组 
Qr = -b (4.2.40) 
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WR BG EO IRM. Tee RR. BOE AS 
法 在 m (m <n) WEAR. WPm STM G 的 相 异 特征 值 ， 
的 个 数 . 

今 考虑 变换 


zo WU, (4.2.41) 


其 中 W FE Xt BRIE ESE, M Gz = -5 与 方程 组 


Wo GW 一 一 二 一直 (4.2.42) 


等 价 . 如 果 我 们 适当 地 选择 W, AER GW i ARERR OY BE 
小 , 则 算法 的 收敛 速度 将 会 明 最 改善 , 出 于 WGW g Woe) 
相似 ， 这 粗略 地 等 价 于 选择 W WA ROS BE. 

在 极 小 化 二 次 函数 { 或 解 线性 方程 组 ) IT. BR se 
REPRE AT'S A EM ro = Groth, 8; =0,d 1 = 0; Ofek =0,1,--., 


dy = -Wre + Bx—ide-1, 

re Wir, 

ep ; 

Peay = te + gd, (4.2.43) 


Qk = 


Tett = Ph + anGdy, 
Bi = 


aT —1 
T k+ We Proi 
re Wl, 


AHH, FARR WORT RA RTE Pee. 设 对 于 "7 个 
RS {s;m M 满足 拟 午 顿 条 件 ， ( 见 第 五 章 (5.1.4)). 


sj = Myj j=l, o,r. 


FF, af Tt — Tj; Yj = Fi4+1 — fje FH 


Gs; = yy: 


5; = M Gaj, 
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从而 MG A e 个 单位 特征 伸 对 应 于 等 征 商 是 fj 因此， ME a 
以 用 来 作为 Wot, 
IET ARL RA R i, A 


2 二 T, {4.2.44} 


Fl on eh AEA 
f(a) = f(W ER) = FR). (4.2.45) 


& 
He = Weep, Ga = VEE) = WIV flan) = Wi gg, 
于 有 是， 


dy =Wdy, Se =Wau. Fe =W iy. (4.2.46) 


这 样 ， 对 目标 前 数 FS) MARE, SW (4.2.19), 可 得 
搜索 方向 为 


a Gk (Geo = 9k) 
k-1 = Orrl Fp re = 
di (Jkt11 一 gn) 
dy ~ a 
=-( ~ ee Via. (4.2.47) 
dy. Yk 


从 而 


a 


= — Ph+19k+1. (4.2.48) 
ERLE TAR PF PB ERE R 类 似 地 ， 我 们 还 可 以 得 到 


i i Ug Yk 3 1 
dk+1 = | gst 十 gt + (1+ Yk B SW g, 
yl Sh (wes ux) ur se) oss Gets 
(4.2.49) 


上 式 是 无 记忆 BES JE AMMA EM. 
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$4.3 共犯 阐 度 法 的 收 伍 性 


eB i AE k Be PS RE a ES a 
LUPE. ABS Zourendiik (970) 、 Polyak (1969) 和 Al-Baali 
(1985) PA ig A pL Cohen (1972) 和 MeCormick 
and Ritzer (1974) 甘于 局 部 收 合 性 的 结 杂 . 


4.3.1 oe SIEM BRUTE 


我 们 首先 讨论 采用 精确 线性 搜索 的 下 leteher-Reeves ygi RE 
HE MLE PRA a Ee. 

定理 4.3.1 (FR ERIE RA ee RE AA Ak 
FHL {r E R | fix) < f(z0)} E f: RRMA, WA 
采用 (4.2.20) 公式 和 精确 线性 搜索 的 Fletcher Reeves 354048 REE 
产生 的 序列 {zx} BAA PR ARSEA, Bf 

(1) 当 {zw} BAST AVI, PR POR o* 是 上 的 驻 点 . 

(2) 当 {a} 昆 无 穷 点 列 时 ， 它 具有 极限 点 ， 且 其 任 一 极限 点 
是 了 的 驻 点 . 

证 明 (1) 当 {za} 是 有 穷 点 人 交 时 ， 由 算法 的 终止 性 荣 件 可 
期 ， 甚 景 后 一 点 z” A Vie) 一 0, at Bf ES. 

(2) 当 {ea} ACT AsO. MMT V flan) AO. 由 于 di 一 一 gx 十 
Beide1, HE 


9% dx = —|Igell? + Se-198 de = ilgil? < 0, (4.3.1) 


从 而 a. APRA. {Fie BFR, {zx} ce 水 平 集 
L, 所 以 {zx} 是 有 界 点 列 ， 必 有 极限 点 ， 

设 z+ {er} 的 极限 点 ， 则 存在 子 列 [zeje KAE] 2%, 这 
E Ki AFRIKE HT fede, C leah, RFE} Re, c 
{f(e.)}, ATH F HEET, MRE K, 有 


Fe) = {Jim sa) = Jim fe 4.82) 
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类 很 地 ， fogs} Etti A Ml, Ee TEA TF {tri Fs Wat 
Bh AT Ko Æ dern) 的 子 序 州 的 指标 集 ， 并 且 


F(Z) =r{ lim 24. | = Tim Haen) = f”. (14.3.3) 


ks Ei 


Ti, 


firs fieti= fr, {4.3.4} 
PGE Md be WEEER V f(a") = 0. fae Vf 4 0, TE 
分 小 的 œ, AT 
fle" + ad") < fle), 
Flapri} = flex + adr) S Jirre t dkh Va>I, 


MMT RE Ky, S k>, 可 得 


FE") < fle* + ad") < fist), (4.3.5) 


这 与 (4.3.4) Fe. UH TV f) = 0, 即 x* 是 了 的 驻 点 . oO 

类 似 地 ， 采 用 精确 线性 搜索 的 Crowder- Wolfe H FF RA dE a HB hE 
法 的 总 体 收 误 性 可 气 述 为 

定理 4.3.2 (Crowder- Wolfe 共 狂 梯度 法 总 体 收 伍 性 定理 ] E 
EKF L = {x e BY | f(x) < Fo) BRE. Vf) 是 
Lipschitz 连续 ， 则 采用 精确 线性 搜索 的 Crowder-Wolfe 再 开始 共 
FUG RAP Ew {zk} BH — PRA, AREA. 

REAR W Polyak (1969). 口 

在 较 强 的 条 件 下 ， 采 用 精确 线性 搜索 的 Polak-Ribiere-Polyak 
HERRE (PRP) 具有 总 体 收 繁 性 ， 


定理 43.3 H f(z) “BEST, KFE L= {zi fla) < 
fleo)} 有 界 ， 又 设 存 在 常数 mm > 0, 使 得 对 = E L, 
mlll? < y V fey vy ER”, (4.3.6) 
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则 采用 精确 线性 搜索 的 Polak-Ribiere-Polyak 共 辊 梯度 法 产生 的 点 
F {za} WP f(e) 的 唯一 极 小 点 2 
GEAR ”由 定理 2.2.3 可 知 ， 只 要 证 明 (2.2.10) 成 立 ， 即 存在 常 
数 p > 0, 使 得 
-gp dn 2 pligeiliide |, (4.3.7) 


便 有 gs > 0, Mili ofa) = 0. eh (4.3.6) 可 知 ， ct OR, W 
{xz} > rt, E rt ARR A. 

注意 到 在 精确 线性 搜索 条 件 下 ， ds_1 =0, XH (4.2.18) 和 
(4.2.21), 有 


gi de = ~ ilgil 
AK (4.3.7) 等 价 于 
hail > (4.3.8) 
ia; ` | 
HH (4.2.17) 可 知 
了 
Jiki- 21/17 
ora = alee et ge (4.3.9) 
dy Ck .10 di. 1&k-1dk—1 f 
其 中 ， 
Gk-1 = f Grai + tap- rdp-1)dt. (4.3.10) 
o 
FÆ., (4.2.21) 成 为 
T ` T 
7 一 —]! Gh „i 
Pai = RGR 
Jk-19k-1 Ile —11| 
Ji Ge-1dg—1 
= oo. (4.3.11 
dF Gr dk ` ) 
由 于 水 平 集 有 界 ， 帮 存在 常数 M > 0, 使 得 
u Glejy < Myl. reL, vy © RR". {4.3,12) 
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于 是 ， 由 (43.11) 、 (4.3.12) 和 4.3.6), 有 


: 1 Hic, di | M 3 
有 | < gel | hoe 了 1 git gll 


moldea il? m {drili 
这 样 
Ilda || S [geil + [Fea] [dea i 
tuo M. 
x gal + m lle | 
= (i+: 十 一 "TY lanli. (4.3.13) 
从 而 ， oul ue 
gr H 一 
> “yy, 4.3.14 
dz] Q + m) (4.3.14) 
这 表明 (4.3.8) 成 立 . 口 


Al-Baali (19855 研究 了 严 用 让 精确 线性 搜索 的 Fletcher-Reeves 
HERE. 令 假 定 不 精确 线性 搜索 采用 Wolfe-Powell 准则 (2.5.2) 
和 (2.5.5), 可 以 证 明 ， 这 时 搜索 方向 ds A T REPLI 


gide <Ù 


定理 4.3.4 WE o, AARS TEER Wolfe Powell HED 
产生 ， 那 么 Fletcher-Reeves PIARA KRERET gide <0. 
证 明 RREH A HAAA ed TR 


REDD . (43-15) 


EAA kR Epos (0.5 5): 事实 上 ， 若 (4.3.15) 成 立 ， 由 


ie oe 
S riz Soo! =F + = (4.3.16) 


j=0 j= 
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AAD (4.3.15) 式 右边 为 负 ， 从 而 
gi dy < O, 
下 降 性 质 成 立 . 
显然 当天 二 0 时，(4.3.15) 成 立 ， 今 设 对 任何 大 
RA AY (4.2.18) 和 (4.2.20), 有 


Ge tht — Tei dk 
a 3 — 一 了 十 3 
Nox+iil IEAI 
利用 (2.5.5) 和 (4.3.17), € 
T 
lta gide < Skates < gi dk 
Il 7% lgx Holi? 
再 由 归纳 法 假设 (4.3.15), 有 
kti 
~ Soa =o Soo! < Hats 
j=0 j=0 Gki1 
k k+l 
Bo, , 
< -l+a Soo = -2+ Yo. 
j=0 j=0 
FE, WF ktl, BER (4.3.15) 成 立 . 口 


(4.3.17) 


> 0. (4.3.15) 


下 面 证 明 采 用 不 精确 线性 搜索 的 Fletcher-Reeves Hik po Btk 


Bee te. 


定理 4.3.5 i f(x) “RMU. APL = {ee Rl f(x) 
< f(ro)} 有 界 ， 步 长 ar H Wolfe-Powell 准则 (2.5.2) 和 (2.5.5) 确 
E, Hppco< > ABA, Fletcher-Reeves 方法 产生 的 点 列 总 体 


Keke, Be 
Jim inf |jgx|| = 8. 


征明 ”由 (2.5.2), (2.5.8) 和 (4.3.7), 有 


T 
lg dk-1| < —og?_ydy_1 < 


T 
Tog ilgeall?, 


(4.3.18) 


(4.3.19) 
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再 出 (4.2.18) 和 (4.2.20), 得 
ldall? = gall? — 28-197 de-i + 82i ilde- jl? 
， 2c pa 
S Haw P+ oes + A lar) 
HOV, g 
= (T J lael? + Ba (4.3.20) 


递 推 干 去 ， 可 得 


Nal? < (G2) fan (全 Is-2). (4.3.21) 
j=0 


现在 用 反 证 法 证 明 (4.3.18) RE. BE (4.3.18) 不 成 立 ， 则 在 
在 常数 = > 0, 司 得 
gs 2 £> 0 (4.3.22) 


对 所 有 成 立 ， 由 于 gs 在 水 平 集 工 上 有 界 ， 故 由 (4.3.21) 可 得 


lads < erk, (4.3.23) 


其 中 ci AEM. H (4.3.15) 和 (4.3.16), 


cos Br = __ 9K th ~ (2 _ Yos) lligall 
[Iga |lild |] L jida] 
l ~ 20y ligal 
> | = 
1 
由 于 oo < > FEA (4.3.23) 和 (4.3.22), 
Dota (Eple sagi ass 
z i al ?OR 48-28) 


其 中 co 是 正常 数 . 因此， 级 数 》 cos? On IR- 
k 
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EM Aem EKER L ERE. m 
Thy de < gi dr + ard dy ll? 

He Ay (2.5.5), 
aR 2 ~ dae * k 


RA (2.5.2) 有 


(1 - oo)p gd) 
Festi S Se wt dell 


= fr — esllorll? cos? Ae, 


其 中 ca = woe > 0. 由 于 f(z) FAR, MH 》 low? cos? 收 
` k 
SH. HF lig? Be > 0, ik $7 cos? 8, MR. iX (4.3.25) F. 
k 
从 而 结论 (4.3.18) 成 立 . 口 


利用 一 般 下 降 算 法 的 总 体 收 请 性 定理 2.55、 我 们 也 可 立即 得 
到 共 固 梯度 法 的 收敛 性 . 

定理 4.3.6 wwe f(r) EER Vie) 满足 Lipschitz 
条 件 


Vf la) ~ Vfly)| < Mila — yil 


EERI REAP Ete og, 由 Wolfe-Powell MEM (2.5.2) 秆 (2.5.4) 
确定 , AF MEA Hd, WV f(e) ZEE b HEE (2.5.11), 则 对 
PREE ERAS (en), 或 者 存在 其 个 天 EH OS (ira) = 0, 
或 者 zi o0, 或 者 Vfl) 二 0. 

证 明 ”直接 由 定理 2.5.5 得 到 . 


4.3.2 AMH ERK RE 


WMA, FIORE AA kth, BIR Ke 
BL OR ALATA — 2B BER RARR EE n BGR RR th. 
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假定 二 次 目标 函数 为 


f(z}= 50 Ge, 


可 得 
FRI — F(x*) hy gr 
flex) — firt} gf G7! gi 
_ (of dx} 

(dp Gde} (gf G'g) 
An(G) 

<il- 
Ai(G) 

<1, 


其 中 ， AnG) MAG) 分 别 是 G 的 最 小 和 最 大 特征 值 ， 这 表明 共 
辆 梯度 法 的 收 黎 速度 对 少 是 线性 的 ， 
由 于 采用 畏 确 线性 搜索 的 共 钢 梯度 法 至 密 迭 代步 可 求 得 二 
次 凸 通 数 的 极 小 点 ， 相 当 于 牛顿 法 执行 一 步 . 因此 ， 若 将 n 次 进 代 
Ate RAMA, WISER RS REA BK EER AS a a 
速度 . 下 面 的 定理 表明 : 在 适当 的 条 件 下 ， 共 轿 梯 度 法 具有 nn 步 
二 阶 收 化 性 . 
假设 条 件 1. fe C°(R", Rh Bf: Rs RS REST. 
假设 条 件 2. 设 存在 常数 m0 fi M > O, 使 得 


my < yV fay < My Yy eR" 2 €L, 


Hep b= {ee R| f(e) < f(zo)} BARKER. 

定理 4.3.7 ”假定 假设 条 件 1 和 2 满足 ,那么 , 每 7 步 再 开始 
的 PRP 和 FR StS0 BR RERE Pe EMER {on} n Bee, 
即 存在 常数 ec > 0, 使 得 


L Eo0. (4.3.26) 
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这 个 定理 的 证 出 务 两 步 完 成 . 第 一 步 证 明定 理 4.3.8. 第 一 步 证 
HEH 4.3.17. 

定理 4.3.8 ” 设 定型 4.5.7 RE, PERAE oe, 
ULTRA fen 为 


RAES = fire tS (ter) UE tet Beige) Vf (kr) (@— ibe). 
` (4.3.27) 
没落 ,表示 应 用 到 for 上 的 共 辐 梯度 法 , 并 且 令 dp, = der = 一 gkr. 
Mik 
Ti = Ehr, Zir 一 Up (The) Tir = PR, Tir). 
H , 如 果 对 于 i= 0,1,- ai jik) = l, 
[orpidir ti — odil] = O (ller — zl’) (4.5.28) 
成 立 ， 其 中 jk) 是 小 于 等 于 n 的 整数 ， 满 足 
a) = Zh) O ot BF), 
Tife) 表示 函数 fer 的 极 小 点 ， 则 再 开始 PRP 和 FR 共 斩 梯度 法 
EEK ASIME (4.3.26). 
证 明 AF fer 是 二 次 正定 画 数 ， 根 据 定理 4.2.1, gi 
法 至 多 步 达 到 其 极 小 点 . 
由 算法 可 知 ， 
Flert) S Flan). Wk i4,3.29) 
At 
Feren FaN & Flag) — Fr， (4.3.30) 
MH Taylor 定理 ， 
Flee) — f(a} = VF (a (ap — 2") + (en ~ 2") VPP) (ay — 2°) 
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= (rp — 2°) V f(a) (er — 2"), 4.3.31) 
Hp g= ra + afa" > sr) œ E (0,1). 再 利用 很 设 条 件 2, 便 有 
iler = 2° ||” < flex) = t2") < Mien ~ 2" |)”. (4.3.32) 
综合 (4.3.30) 和 (4.3.32), 得 
mrs ~el? s |fler)- flat)! 
< Ser) — F| < Me 一 人 | 


EHA 


EZES — "|! z was 一 z*||. (4.3.33) 
EJE, 
leeran — eti CH /my Hae gy = a: 


= (M fm"? lar jt) 一 e*il. 


(4.3.34) 
REN. H TUEA (4.3.26), RHE 
leertje — e*il = Oee ~ e’). (4.3.35) 


4 
liter gtk) — 27 S leru — Eee dll + |E) — 2%]. {4.3.36} 
其 中 (fer) 是 for 的 极 小 点 ， 可 以 表示 为 
(fir) = rir o [VIA Ekr) V eae 
但 这 恰恰 是 在 c 点 应 用 到 /上 的 牛顿 法 ， 这 样 


| 本 Je) 站 一 le 人 ze) = 2"). 
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由 于 牛顿 法 二 阶 收敛 ， 便 有 
ee 一 站 = O(||vee — 27”). (4.3.37) 
因此 ， 从 (4.3.35), (4.3.36) 和 (4.3.37) 可 知 ， 我 们 需要 证 其 
EP P fedil = leers -ie 


= O(|jer — s* |’). 
: (4.3.38) 


+ Dey = tees RË. 


-1 | 
| > [rs 一 Berti) 一 (att 一 Lien) | 
i=0 
a(ky-1 . E 
£ iakrHiaksrH — Okr dir] 
i=0 
jiki | 
= 5 ||err+iderri — oh, din 
1 二 0 
从 (4.3.36) 、 (4.3.37】、 (4.3.38) 和 (4.3.39) 可 知 ， (4.3.28) 意味 
”着 (4.3.26) 成 立 . oO 
第 二 部 分 要 证 明 (4.3.28) SPP we. 为 此 ， 我 们 先 
给 出 几 个 引 理 . 
引 理 4.3.9 


æra — tee = 


. (4.3.39) 


_ lig? - 
= Tha (4.3.40) 
其 中 ， 
B, = f V? ffar + andr )dé. (4.3.41) 


证 骨 git1 二 gk +onBede, 由 于 dk = 0, KA gr dx + 
ard? Bd, = 0, MATE 


ide _ igel? 


Œ —_- = 


~ dEBgd, dE Bdk 
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5/32 4.3.10 
Ngesill < (1 + M/m)iide ll. (4.3.42) 


证 明 ”由 于 drsi = -geyi + Bede 和 gid = 0, $ 


Idea ll? = Ulgnsal? + Bellas |)?. (4.3.43) 
这 表明 
lgs < ldr li- (4.3.44) 
利用 假设 条 件 1 、 (4.3.40) 和 (4.3.44), 
2 2 
ak = ch 7, < < Z (4.3.45) 
于 是 可 得 


Hgx+all < Iga] + ell Bade 
< |ldel + = aul 


M 
= (1+ =la. o 

引 理 4.3.11 XF PRP AS, 

Pr = gh Bedi / di Buds, (4.3.46) 
M\M 
Pel < (1 + = (4.3.47) 
对 于 FR AR, 
(gut1 + gk)? Brdy 
=1+ E ; 

Br Bd (4.3.48) 
[Bal $ (2 + uy. (4.3.49) 


证 明 ”对 于 PRP 公式 ， 


a = Gee s(Gk-+1 — Ie) 
2 
tigli 


- H0. 


whee ate) VEM ha 


ange. Bade 
gui]? 

_ ial? gh Bets 

本 dl Bi dy lgx ||? 

加 gh Bede 

dT Bud, 


FE, ARIA 1 H (4.3.42), 


19a | = Gi Bede < ERS M 
dT Bd | la m 
; 所 
£ 0 十 =| M 
T Tre 
对 于 FR 公式 ， 


a, — ltal? _ Seyi (ge-1 — ge) + Geer Ge 
lige ||? ES 


_ WriPrde Giri 9e 


二 . 4.3.50 
aT Brde lgxll? ( ) 
由 于 
gE 19k _ (oe + op Beds)? gr 
Il gx |? LAR 
了 二 
d 
二 1 十 rk Ik Bids 
liga: | 
TR d 
= 1 4 HERTE (4.3.51) 
dT By dh, 


于 是 由 (4.3.50) 和 (4.3.51) 得 


(gryr + on)? Bede 
di Bid: 


Be = 1+ 
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此 即 (4.3.48). 这 样 ， 利 用 (4.3.48), (4.3.44) 和 (4.3.42), 有 


(gn-1 十 和 并 再 
dr Bd 
(Horri! + Hoel) Af dell 
mld ||? 


M {| ge+2 [| Ilgactl 
=a jdi + lel) 


M M 
<1+ 2 (14241) 


2 
< (1+ 2). 口 
TTL 


[Gx] <b + 
<1+ 


= 


引 理 4.3.12 


es 上 < Mies — 2°|| 
derli < (1 + M/m)’ Nai 


(4.3.52) 
(4.3.53) 


1 
证 明 ge = VF (0*) 4 Í V f(a" + Eler- 2*))dé (zy 2"), 


于 是 立 得 (4.3.52). X 
dki = gk + Bede, 


rig 
中 ea < igrali + [Sel ileell, 


利用 (4.3.42), (4.3.47) 和 (4.3.49), 得 
lidneall < (1 + M/m)? larll. a 
引 理 4.3.13 


(V Flares) — V7 F (ee) |] = Oll), 
[| Beas — V? F(zx)|| = OUldel). 
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(4.3.54) 
(4.3.55) 


iE AA 
i=l . 
| v2F(rreri) 一 V? Flani < > [V7 FE) V? Ferdi 


i=0 
由 于 


[VA (erti) 一 Yesra 
=|| V? fiery + arriden) — VPF lte) 
1 
-| f V'S (care + Earpdepi)aryideidE 
0 


< sup lV" f(xy: + Earder) ilaredi. 
£€(0,1} 


4.3.56) 


由 于 Tk 一 z*, Vi(z*) = 0, f € c’, HEE K, 各 M, 使 得 对 于 
k > 下 way7(eal < M. 又 利用 (4.3.45) 和 (4.3.53), (4.3.56) 可 
以 写成 


[V ees) -Y?r < last = Ollidell). (4.3.57) 


因此 ， 
| V7 lært) — V7 Fee) || = didl) 


此 其 (4.3.54). 
下 面 证 明 (4.3.55). 


Buys ~ Vali < Beri — VF lE] 
+? F (ress) — V7 F (ze) (4.3.58) 


由 于 
|| Erri — V? Fler] 


1 
=| [ V? fF (ens: + Eansideai dt — V? flaps) 
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1 . 
<f |V (Eei 二 EakHigk+i ~ VIF (ert fae, 
0 


(4.3.59) 
LV? fans t Sapriakt ~ VIF (tax) 
1 _ 
-| Í VF Gari + | 
ù 
Sew [V "fees: + nensidees)||lonss lei 
ne(a,l)} 
m a 
Sa Meal (4.3.60) 
因此 ， 再 利用 (4.3.53), 
B 7 M r- a 
Bese = V? F(ae)|| ldr] = Oidsl). (4.3.61) 
于 是 ， 由 (4.3.58), (4.3.54) 和 (4.3.61) 便 得 (4.3.55). 口 


引 理 4.3.14 AF PRP 公式， 有 


farsir 一 dit | =0; {||dk+: — d j) + O2( (grreri 一 all) 
+ Oz (lidit). (4.3.62) 


对 于 FR ġġ, & 


earn = de | =0 Nasri = dif) + On (gerit: — 96" i) 


+ Os(||gn+2 — go) + Oa lax?). 
(4.3.63) 


证 明 ”我 们 仅 证 明 (4.3.62). (4.3.63) 的 证 明 完 全 类 似 ， 留 给 
读者 练习 ， 我 们 有 
laeri | =|] getiri + Besides: + oft! ~ shai 
Slani — oy |] + Paredes — Bidil. 


S H (4.3.46), 


T ~ 
Jk+i+i Bryidesi 


k+i 
dr Bus idk +i 


[Artide — Sid |] -| 
k+i 
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ge WF lee) g | 
di V2 f (xn) dh (4.3.64) 
设 N p l 
Ekti 一 (df, -Brrides:) (di, V2f (zr)d:), (4.3.65) 


于 是 ， (4.3.64) 成 为 
i pi 1 5 iT i 
Beridretrs 一 有 ai = Saal en Beriders) (di, V7 f(ae)di) der 
+t 
— (gh! VP F (wu) de) (dh Brides) dill 
$ + {|| (gir Basi (diss = di.)) (ak V? f (ed) deti il 
kti 
+ Ilok ris Bassa) (C — dky) V? f (ae)di )de|| 
+ [lelkit 一 gy) T Brsidh) (dE iV?S(en)dj,) detil] 
十 上 GE "Basa (UE. vo on (a ~ depi) de || 
+ (gu (Bare — Vf (ae) dh) (EL V7 Fee ders) dell 
+ | (git? V Hardi) (dka: (Vf (ee) — Bass)ders)dersl] 


+ (gi V Fanddh) (dy Beseders) (deri — 4) II}. 
(4.3.66) 


由 


注意 到 ] i 


= 
Cki mldr Pll I? l 


Xh (4.3.42) 和 (4.3.55) 有 


ligera l = Older). ogi = O(h) 
IV? F(x) - Bei] = O(|laell), 


xe, ROR SEREEN ® (4.3.62). 口 
引 理 4.3.15 RWE 


||gxtir1 — i || <\oe+2 一 gh || + O({l4xll?) 
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十 M llansideti 一 ok. 
(4.3.67) 


证 阴 
grriri g] | = Iona + Oni Br ideri 一 Gh — af, V? f (ae EAT 
slige 一 gi | + | (v2f (xk) 一 Biri) oid 
+ |Bus (aidi 一 Optidgti) | 
1 ~ , 
Shiar: — gkh + lv FE) — Brsill la 
+ Mllaid), — onside sill 
<{[ gx 一 PAL + o (idl?) + M laid. 一 optidrti il- 口 
引 理 4.3.16 ”我 们 有 
llexsedars — adil] =01 (llar: = akli) + Or (ldr — all) 
+ 03 (dsl). (4.3.68) 
iE A 由 (4.3.40) 和 (4.3.65), 
grill deri _ lok ll et 
d? Buyidey: di” V2 f (zn) dh 
1 ， 
= —|lllowssll? (a V? f(a di.) daze 
k+i 
— foil? (EB rides) dl 
L , , 
Chie [Coens (oni — gh)) (di V7 S (radi diy: 
+ (Esk) (Ch - der) va (ant) deal 
CL desl 
(dp uV Fel 一 | 
+ Hl ELV? Flex) dees) (ders — A) 
+ pilal (aE, (7? Fen) — Bap) ||}. 


lertidr — ol| = 


A 


(4.3.69) 
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注音 到 | i 


S 一 一 一 一 一 一 一 一 人 
Ceti m2 iidgasll?||ei Ti 
利用 (4.3.44), (4.3.42) 和 (4.3.55), 便 得 所 需要 的 结果 (4.3.68). 
o . 
定理 4.3.17 EEM 4.3.7 RE, MA, 


dy, = 0, (4.3.70) 
netiderts — oh) = Of|derll?), 
7=0,1,---,7(%) = 1, 


(4.3.71) 


owtsdirti — or = O (ller — 2*1’) 
i=0,1, i(k) — 1, (4.3.72) 


H+, MRA k Arn, der = ger. 
证 明 由 (4.3.53), jdsiallg (1+ M/m)?lldelh, & 


ldrrsill < [+ M/m TY ard, $= 0,1,0, HE)— 1. 


FAT MGW, (4.3.52) 意味 着 g 一 0, AIE dkr — 0, 由 (4.3.53), 
有 dy — 0, (4.3.70) 得 到 . 

为 了 证 明 (4.3.71)， 我 们 用 归纳 法 证 明 : HF i = 0,1 可 
HR8fr) 一 1 以 及 天 是 7 的 信 数 ， 有 


lar: ~ gel] = O(lidell”), (4.3.73) 
Ides — Al] = O(a l|?), (4.3.74) 
[orride — id] = O(|ld,||7}. (4.3.75) 


(4.3.73) (4.3.75) 成 立 . 
今 假 定 (4.3.73) 一 (4.3.75) HF iR, 我 们 证 明 它 们 对 于 i 填 1 
ERI. H (4.3.67) MAAR, 
||grrit 一 g HTH <||grti — gill + O(Il¢x{]?) 
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+ M]lansides: — aidil] 
=o (jal) (43.76) 


由 (4.3.62), 对 于 PRP AR, 


arrir ~ de || =01 (llki — di 
+ Catllael)， 


1) + Oo (|lgerssa -g5 i) 


由 (4.3.63), 对 于 FR 公式， 


| 一 | 二 人 (deri 一 dill) + O2(||ge+i4t 一 gr |I) 
+ Oa(||ge+i — 9% ||) + Os(Idell”). 


这 样 ， 由 归纳 法 假设 ， 我 们 有 
[drisi — der || = O(llde |). (4.3.77) 


最 后 ， 利 用 (4.3.68) 、 (4.3.76) 和 归纳 法 假设 ， 有 
|artitidr+i+ 一 antl ai 

=O1 grrit — 95 ||) + Oa (llari: — det? ||) + Os (Ie I?) 

=O((|dzl|"). (4.3.78) 


这 样 (4.3.73) 一 (4.3.75) BERS, MA, (4.3.71) 得 到 . 由 (4.3.71), 并 
注意 到 dkr = -grr 和 ||gxr| < M ||Err 一 站 即 可 得 到 (4.3.72). 而 
这 等 价 于 (4.3.28). 口 

综合 定理 4.3.8 和 定理 4.3.17, BEA BUT a a RA 
H n POMERE 4.3.7. 
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第 五 章 W + 顿 法 


85.1 MAMAE 


牛顿 法 成 功 的 关键 是 利用 了 Hesse PP BR. m 
计算 Hesse 矩阵 工作 其 大 ,并 且 有 的 目标 函数 的 Hesse HEPER HETH 
算 ， 甚 至 不 好 求 出 ， 这 就 导致 仅 利用 目标 函数 一 阶 导 数 的 方法 ， 抛 
牛顿 法 就 是 利用 目标 隆 数 值 f 和 一 阶 导数 g 的 俏 息 ， 构 造 出 目标 
半数 的 溺 率 近似, 而 不 需要 明显 形成 Hese EE, NRAKA E 
度 快 的 优点 - 


5.1.1 WP RRA 


EJ: RS RERA DCR” 上 二 次 连续 可 微 ， 了 在 ves 
附近 的 二 次 近 忆 为 


F(a) ~Fleeqi} + Geil — Tk+1) 
+ (2 — Ep41)? Gretl — eq), (5.1.1) 
对 上 式 两 边 求 导 ， 有 
ot) © Geta + Gegale — Tat1). (5.1.2) 
令 © = Ek, Bk = Tkp — Thy Ye = Jeri 一 Gh. 得 
Gr ue © Sp. (5.1.3) 
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BR, MOK f, LERRA (5.13) 精确 成 立 ， 现 在 ， 我 们 
要 求 在 拟 牛 顿 法 中 构造 出 的 Hesse BUTI e+1 满足 这 种 关系， 妈 


Heiive = sk (5.1.4) 


我 们 通常 把 土 述 关系 式 (5.1.4) KMS RARER TH. i 
牛顿 条 忻 世 可 以 按 如 下 想法 导出 . 由 于 梯度 g 在 rre E, 
于 给 出 的 < > 0, AES > 0, 使 得 只 要 |e- rell < 6, RA 


oz) — glært) — Grle 一 Hi 所 El 一 zh (5-1-5) 
Q r = rk, Beyi 表示 Ci, REEL RITER 
Bet18k = Yk (5.1.6) 
REEK, Hep 
Sk = ktl — TE Yk 5k41 — Gk. (5.1.7) 


(5.1.6) 与 (5.1.4) 是 相同 的 ， 只 是 (5.1.4) 是 关于 Hesse WAT LAL 
牛顿 条 件 , 而 (5.1.6) 是 关于 Hesse 近似 的 拟 和 牛顿 条 件 , 这 里 By) = 


Agar. 
所 和 牛顿 条 忻 使 二 次 模型 具有 如 下 插值 性 质 ; 如 果 He 满足 所 
牛顿 条 件 (5.1.4), 那么 二 次 模型 


ap+L(z) =f itk) + gh 一 TE+1) 
i , 
+ gf ~ B41)" Gk41(E — Eka) 


满足 


Mepi (epi) = Flr), Vigti(fe41) = geti, 


Ving (ce) = ge. 


TAF LIA BY Eb 
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(1) & de = —Hk9k; 

(2) EFK dy 作 线 性 搜索 ， 得 到 rag = te + ond} 

(3) 校正 Hi 产生 Heu- 

一 般 的 执 牛 顿 算法 如 下 : 

算法 5.1.1 

步 1 H roe R”, Hoe RM" 0ge<l,k:=0. 
步 ?2 如果 lgl <e Wk; 否则， 计算 de = -Hege 
步 3 ADA dy 作 线性 搜索 求 ar> 0,4 


Ek+1i = Ue + ody. (5.1.8) 


步 4 校正 Hx 产生 Hes, 使 得 拟 牛 顿 条 忻 (5.1.4) R- 
步 5 天 :一 大 十 1 转 步 2. 
在 上 述 拟 牛 顿 算法 中 ,初始 Hesse 道 近似 Ho BIA iE 


E, Ho = 了 这 样 ， 拟 牛顿 法 的 第 一 次 迭代 等 价 于 一 全 最 速 下 降 
BR. 

与 牛顿 法 相 比 ， 拟 牛顿 法 有 于 列 优 点 : 

(1) 仅 需 一 阶 导 数 . (FB oy Ry). 

(2) He 保持 正定 ， 使 得 方法 具有 下 降 性 质 ， {在 牛顿 法 中 ， 
Gk 可 能 不 定 }. 


(3) EUERE O(n") 次 乘法 (牛顿 法 需 Oln") RRE). 
存 时 ， 拟 牛顿 法 的 选 代 形式 也 采用 Hesse 近似 : 

(1) Bed = 一 gr 得 dh; | 

(2) HEAT dy 作 线 性 搜索 ， 得 dry = oe + andy; 

(3) 校正 Br 产生 Bayi. 

EMF REAR | .ic 意义 下 的 最 速 下 降 法 一 样 ， 


拟 牛 顿 法 是 在 三 球 范 数 ly-: 意义 下 的 最 速 下 降 法 . 事实 上 ， 由 
极 小 化 问题 


min gid, 


(5.1.9) 
s.t lde, = 1 


> 221: 


可 知 
dy = -Bp grefilgrllas = — Hegref onl:, (5.1.10) 
其 中 Bi! = Ay. MA, AR A, 的 意义 下 ， 方 向 
dy = — Hegk 


是 了 从 zx 点 出 发 的 最 速 下 降 方向 ,. 由 于 在 每 一 次 选 伐 中 尺度 矩阵 
Ay 总 是 变化 的 ， 矶 方法 也 叫 变 尺 度 方法 . 


5.1.2 ”对称 秩 一 校正 公式 (SR1 校正 ) 


i Ay 是 第 天 RERE Hesse MRL, BAAS Hy 产生 
Apia, Bll 


Hri = Het Ep, {5.1.11} 
其 中 Er 是 一 个 低 秩 第 阵 ， 在 秩 一 校正 情形 ， 有 
Arai =H, + ust, (5.1.13) 


由 拟 和 牛顿 条 件 (5.1.4), 
Hryiyk = (HE + wo )¥k = Sk, 
EA 
(vT yx) u = sp — Abus, {5.1.13} 
A u WEED TA si 一 Hy L (RE sr- Heye £0 (BM, Hi 已 
经 满足 拟 牛 顿 条 件 ), Eo 满足 Ty 关 0, 则 
Hg = Hy + 去 (ex 一 Hiys ye”. (5.1.14) 


由 于 Hesse 4 FEAR RRA, PSE Hesse MITDRE MR, Min 
Rov = sk — Hryr, 得 


(sg — H ~ Hen)? 
Hig = H+ (Sk aR) (Se KYk) l 


5.1.15 
(sk 一 Beye) T Yk ( ) 
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公式 (5.1.15) 称 为 对 称 秩 一 校正 (SR1 校正 ). 

HERR, (5.1.14) 称 为 Broyden 一 般 秩 一 校正 公式 ， 特 别 ， 当 
v= y, 时， (5.1.14) 称 为 Broyden 秩 一 校正 公式 . 

对 称 秩 一 校正 的 突出 性 质 是 它 天 然 具有 二 次 终止 性 , 即 对 于 二 
次 函数 , 它 不 需要 进行 一 维 搜 索 , 而 具有 nn 步 终止 性 质 ，H,, = Go, 
其 中 G 是 二 次 函数 的 Hesse 矩阵 . 这 一 点 由 下 面 的 定理 证 明 、. 

定理 5.1.2 (对 称 秩 一 校正 性 质 定理 )” 设 so,si ,sn 1 线 
性 无 关 ， 那么 对 于 二 次 函数 ， 对 称 秩 一 方法 至 多 n 十 1 步 终 止 ， 即 
H, = GL. 

WERA ROKA f 的 Hesse ER G 是 正定 的 ， 在 所 有 二 次 
终止 性 证 明 中 我 们 都 利用 - 


Yk = Gsp. (5.1.16) 
EA RAHA EREA 
Hiy; = 83, 7 =0,1,---,¢-1. (5.1.17) 


对 于 :二 1, 直接 由 SR1 公式 (5.1.15) 可 知 上 式 成 立 . 今 假 定 上 式 
MF ED 1 成立， 我们 证 明 它 对 于 it 1 也 成 立 ， 我 们 有 


(s; = Hiyi) (3s yyy? Yi 
(s: — Huy)? yi 


五 i++18 = Hiy; + 


jci HAA RM (5.1.16) 有 


(si — Hi) ys = sy ~ uP Hy; 
= 8345 — Ys 
= si Gs; — sf Gs; 


= 0， 


Hiig = Hiyj = 83, jj <i. 
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当 j 了 二 i 时， 直接 由 SR1 公式 (5.1.15) 有 


HI = Si 
从 而 ， 遗 特性 质 (5.1.17) 得 证 . 于 是 


a; = Any; = HnGs;, g=O,1,---,n—1. 


由 于 sj 线 姓 无 关 , KR HG =I, BH, = G 口 


从 这 个 定理 可 知 SRI RIERA: 
1. 不 需 作 精确 一 维 搜索 ， 而 具有 二 次 终止 性 ， 
2. Ramet: Ay = spj <4; l 


3. 缺点 : SRI 校正 不 保持 迭代 和 矩阵 He 的 正定 性 . 仅 当 (s: 一 
Hye) yx, > OW, SRI 校正 才 具 有 正定 性 . 而 这 个 条 件 往 往 很 难 
保证 ,即使 (sx 一 Have) ye > ORR. 它 也 可 能 很 小 ， 从 而 导致 数 


”上 值 困难 ， 这 使 得 SR1 校正 在 应 用 中 受到 限制 . 


5.1.3 DFP 校正 
设 对 称 秩 二 校正 为 
Hei = Hy + auu” + buo, 
SUPA (5.14) 满足 ， 则 
Hiyy + auul yk + duv ye = sg) 
RE u Ro FREE E A o Be a E 
u= sr, v= Heyr. 


于 是 


aw y,=1, be? y, = -1 


了 


确定 出 


a=1/u yk = L/S Yks 
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(5.1.18) 


b= —-1/uTy, = —1/y Beye. 


因此 
H Het ak? Hiyuk HE 
k = k ra I a Ã— ee E_ 
ii siye uF Haye 


这 个 公式 称 为 DEP 公式 ， 它 是 由 Davidon (1959) 提出 ， 后 来 由 
Fletcher 和 Powell (1963) 发 展 的 ， 

DFP 校正 公式 是 典型 的 拟 牛 顿 校正 公式 , 它 有 很 多 重要 性 质 . 
L 对 于 二 次 函数 (采用 精确 线性 搜索 ) 

(1) 具有 二 次 化 止 性 质 ， 即 He = G7. 

(2) 具有 遗传 性 质 ， 即 Ay; = sj jei 

(3) 当 Ho =F et, PAIS AE. 

2. HFPA 

(1) 校正 保持 正定 性 ， 因 而 干 噬 性 质 成 立 . 

(2) 每 次 选 代 需 要 3n? + O(n) KRAER. 

(3) 方法 具有 超 线 性 收敛 速度 . 

(4) SRAM, WEB, FHA EAS 


(5.1.19) 


性 . 

关于 DFP 方法 的 收 敛 性质， 我 们 将 在 下 一 节 讨 论 . 这 里 我 们 
ra? AT oS ER. 

BOE GRIF IE SHEAR BEN. 如 果 f 的 Hesse EREE za* 处 
EE MES z* 就 是 强 局 部 极 小 点 . 因此 ， 我 们 希望 Hesse 近似 
{Bx} 或 Hesse GR Wl {Hr} EE 此 外 , 如 果 {BE} 或 {H} EE, 
则 了 的 局 部 二 次 模型 就 有 唯一 的 局 部 级 小 点 ， 由 【5.1.?7) 或 (5.1.8) 
产生 的 搜索 方向 dx 就 是 下 降 方向 ， 因 此 ， 我 们 通常 要 求 校 正 保持 
正定 性 , BIAS 下 正定 , 则 Ay, 也 正定 . OT PRT RE, 
我 们 给 出 多 种 各 有 共 特 色 的 不 同 证 法 ， 以 拓展 读者 证 明 思 路 . 

定理 5.1.3 (DFP 公式 的 正定 性 } ” 当 且 仅 当 sty > ON, 
DFP 校正 公式 (5.1.19) 保持 正定 性 . 

证 明 ”[ 证 法 一 ] 用 归纳 法 证 明 


zsTHez > 0, Wz 40. 
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由 初始 选择 ， Ho 显然 正定 ， 今 假定 对 于 其 个 玉兰 0, 结论 成 
立 ， 并 记 Hp = LLT 为 H, 的 Cholesky 分 解 . 设 


a= Lz, b= LT yk, 


则 
2” Appz 27 (m - Heth ]。 + a 
= | Ta ana 4 ce. (5.1.20) 
由 Cauchy 不 等 式 知 
ata 一 cor 20, (5.1.21) 


MAF ME sly, > 0, MK (5.1.20) 中 第 二 项 非 负 ， 从 而 
zT Hki = 0. 
由 于 220, 在 (5.1.21) 中 等 式 成 立 当 且 仅 当 a 与 3 平行， 亦 即 当 
AMS 2z 5 yw FT. mae Sy PAR, BA z= Gy, J HO, 
这 时 
GE )” 
sT ya 


即 ， 当 z 与 y 平行 时 ， (5.1.20) 中 第 二 项 严格 大 于 零 ， 于 是 对 任 
fay 2 # 0, BA 


= = Bap yk > O, 


zT Hyiiz >O 

ESE. 
必要 性 可 以 类 似 地 证 明 . 口 
[证 法 二 ] 设 A, = LLT, yall yp, 8 = Loa, 于 是 


Hyyi = LWL", (5.1.22) 
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其 中 


+ iki . (5.1.23) 
s 


Am- AERE A Ty = pye > 0, 故 由 联 锁 特 征 值 定理 
可 知 W 的 特征 值 非 负 . 今 设 MH) 表示 Hr+1 的 特征 值 乘积 ， 
则 

(A434) = WLW LT) = [IEP IW). (5.1.24) 


由 于 W 是 单位 矩阵 的 秩 二 和 修改， 如 果 n 之 3 则 WW 有 (rn 一 2) 个 


单位 特征 值 ， 另 两 个 特征 值 设 为 A 和 Xz. BR, MPEP AL A A 
的 特征 向 量 是 于 和 了 的 线性 组 合 ， 四 直接 代入 和 代数 计算 可 得 


一 了 , -T 
M HA = ETY (5.1.25a) 
gy 
—T 
MA = or (5.1.25b) 


由 于 A, Ee, fe 37s = sf Hys, > 0, MRE 7 8 = yf s, > 0, 
因此 和 1 和 Xz WEEK, AMW 正定 ， 以 至 于 He 正定 . 
必要 性 证 明 类 似 得 到 . o 
”[ 证 法 三 ] 应 用 线性 代数 基本 关系 式 (1.2.40), 


det (十 ta + uguy) = (1 + ugu) (1 + u3 ua) — (uf ua) (uz us), 


这 样 ， (5.1.23) 给 出 的 W 的 行列 式 为 


pr T 
det (W) = Si = pE 
yy | ve eve 
利用 (5.1.22), 有 
det (Huai) = det (Hy) - skye (5.1.26) 
yi Hey 


Mm): 408 He EE WAAAH afm > OB, det (Hi41) > 
0. 设 
5,5, B Hy yey? Hy 


Hi1 = At 
+t sty, y Aye 
— H TH, 
=H- 一 和 8 下， 
yi nue 


He H = Hyt sal joly HFA EE 由 联 锁 特征 值 定理 
1.2.8 知 H 的 特征 值 全 正 ， 因 而 H 也 正定 ， 继 续 由 定理 1.2.8 可 
SQ, He 至 多 是 最 小 的 特征 值 非 正 ， 因 而 det (Hry) 与 最 小 特征 
值 同 正 或 同人 负 . 所 以 det (Hri) >0 Haas 正定 的 充 要 条 件 . 从 
而 有 


sf vi > Ü ==> det (Hk+1) > 0 <—> Hepi 正定 . Oo 


[证 法 四 ] DFP 公式 (5.1.19) MEM MRE (5.1.4). 4A 
(ESE AE SS RER Je, 有 


T 
Any = 大 + 


时 ， Hre 正定 . 
定理 的 必要 性 显然 . 事实 上 ， 车 H 正定 ， 则 存在 非 奇异 矩 
阵 .六 +1， 使 得 Tet Yk = sk. 定义 wk 一 JE Vk: 则 


下 一 > 0. 


必要 性 得 证 . 
下 面 证 明定 理 的 充分 性 ， 设 He = LLY 是 正定 抢 阵 Hi 的 
Cholesky 分 解 ， DFP 校正 (5.1.19) 可 以 写成 l 


Hy =Hy + (3) "x T l yyrTH 
roa =A, + (> YRS, — p 
+1 8 下 于 下 号 天 ut Have RURUE dik 
1 y 2 p Hyry? Hy r 
= SkY, Hy 一 一 一 SL 
(3 k yi Heyr sf yk eek 
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(p) sf 一 ( Hms 十 Eyk He 


B B vi Hey. 
=J diay, (5.1.27) 
其 中 
f -L T 
Fett = Lie 十 (sn — Eats) we Late) We ， (5.1.28) 
Wy Whe . 
T 172 

Sk Fk T 
wk = Lk Yr» (5.1.29) 

\ (stim) k 
P = (sk yk) (uk Heys). (5.1.30) 


对 于 (5.1.28), 注意 到 


1 _ 
1 + —p—vwi LE! (sk — Lawk) 


we Wk 
1 sty, y T 4 sty, 3 
ye \up Aue) F ve eye 
， 1/2 
-( DET ) 
Vi Ante 


以 及 sly, > 0, Hy EE, MERKEZ. 从 而 根据 Sherman- 
Morrison 定理 1.2.6 BH] St (5.1.28) Bo HB EER Jepi A 
4, Amt (5.1.27) aa DFP 校正 产生 的 Hear 正定 . 口 

这 个 定理 给 出 了 DFP 校正 保持 正定 性 的 亮 分 必要 和 条件， 由 种 
证 明 方 法 分 别 从 正定 性 的 不 同 定 愉 出 发 ， 是 很 典 凶 的. 定理 中 保持 
EX WA sly, > 0 是 实际 的 ， 并 县 是 可 以 满足 和 的， 对 于 正定 
二 次 函数 ， 


Sh, = si Gs, > 0. 
对 于 一 般 画 数 ， 
SE Yk = Er1Sk 一 Ja Sk» (5.1.31) 
注意 到 gs < 0.。， 当 采用 精确 线性 搜索 时 ， ggs = 0, 从 而 
sty: > 0， 当 采用 近似 线性 搜索 时 ， 如 果 准 则 (2.5.5) WA, BA 


sty, > 0. 一 般 地 ， 适 当 提 高 线性 搜索 的 精度 ， 就 可 以 使 得 gi 18x 
在 数量 上 小 到 所 要 求 的 程度 . 

FTE.: 我 们 给 出 DFP 方法 具有 二 次 终止 性 的 定理 . 定理 表明 : 
Mt eee. DFP AP EMA SESE. JEE n 步 终 
ik, BIA Hn, =G, 

定理 5.1.4 (DFP FERALE) me Sf Boe 
a, G 是 其 正定 Hesse HE, 那么， 当 采 用 精确 线性 搜索 时 ，DEFP 
FARRAR BEEAAA MSA, BX 2 =0,1,---.m, 有 


Hariys = Sj 了 一 0, 1, 1e i (jt EEE A), 


(5.1.32) 
sl Gs; = 0, g=O0,1,---,¢-1 (A EEE). 
(5.1.33) 
FARE m+1l<nGKRRSAIk. WME m=n-i, H Hn = Go. 
TEAR ”用 归纳 法 证 明 (5.1.32) 和 (5.1.33). 
显然 ， 当 i 二 0 时， 结论 成 立 . 今 假定 结论 对 于 i 成 立 ， 我们 
要 证 明 结 论 对 于 itl 也 成 立 ， 由 于 gy 40, 由 精确 一 维 搜索 和 
ARE, MFI <i, E 


T T 
F483 = $541.85 十 > (gk+1 — gk)" 8; 
k=j+i 


i 
= 97418; + 5y UE 3} 
k=j+h 
i 
=0+ » si G8; 
k=jt+l 
=0, (5.1.34) 


从 而 利用 归纳 法 假设 (5.1.32) 和 (5.1.34), 得 


T _ T 
954163; 一 æi giy Hiti Y 
— T 

= væi+ 9541 85 
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=0, (5.1.35) 


这 证 明了 对 于 :十 1, (5.1.33) 成 立 ， 
今 设 (5.1.32) 成 立 ， 我 们 要 证 Higyj = 93,7 =0,1,---,84+1. 

由 DFP 公式 立即 有 
Hirayitl 一 Siti: (5.1.36) 


Mt <i, H (5.1.35) #1 (5.1.32), 有 


st 44; = 814168; = 0, (5.1.37) 


vath = vis; = si4Gs; = 0. (5.1.38) 


T T 

BilSiry; Hititya Hitit 
Hi—ay; = Hisiyy 十 一 地 T H 
SipiNi+1 54, fte- 141 


= Hipy; 
= 8;. (5.1.39) 


(5.1.36) 和 (5.1.39) 表明 Hipey; = 33,9 = 0,1,---,d +1. Mii 
(5.1.32) 也 得 证 . 

由 于 s HSE, = 0,1,…,m, RARER OE. RH 
WA EA EE 4.1.3, 对 于 二 次 函数 ， 方 法 至 多 ntik. Bp 
存在 m<n-léimeeBik. 4man-1 i, WF si 线性 
ER, 1=0,1,---,n—-1, $ 

Any; = 33, J =0,1l, nl. 


此 即 
HGs; = 8;, j=0,1,---.n—1. 
从 而 有 Ha = Gul, oO 
田 这 个 定理 可 知 ，DFP WARMER mk. 如 果 初 始 近 
似 Ho 取 作 单位 灶 阵 ， 则 方法 变 成 共 固 梯度 法 ， 由 遗传 性 质 可 知 ， 
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如 +1G6j = 83,9 = 01 和 二 这 表明 95 BRR BiG 对 应 于 特 
征 值 1 的 特征 向 量 ，j = 0,1,…,i. 它们 是 G- ee. 

DFP 方法 是 一 个 实际 上 广 为 采 用 的 方法 ， 它 在 理论 分 析 和 实 
际 应 用 中 都 起 了 很 大 作用 . 但 是 ， 进 一 步 的 研究 发 现 ， DFP 方法 
具有 数值 不 稳定 性 ， 有 时 产生 数值 上 奇异 的 Hesse EPF 下面 给 出 
的 BFGS 校正 克服 了 DFP Be iF Rik- 


5.1.4 BFGS 校正 和 PSB 校正 
前 面 我 们 已 经 知道 
Hust = Sk (5.1.4) 
是 关于 道 Hesse 近似 的 拟 牛 辅 条 件 ， 而 
Betis = Ye (5.1.6) 


是 关于 Hesse HMHF FHA RARHWE MRR pay 
以 通过 交换 Heti + Basi, 5k Oy 从 另 一 个 得 到 ， 类 似 于 从 
(5.1.4) 得 到 关于 H, 的 DFP 校正 公式 


(DEP) a _ Hryryt Ae 
H; = Ha + 


， 5.1.19 
Rye = ov Aave ( ) 
我 们 可 以 从 (5.1.6) 得 到 关于 Bi 的 BFGS 校正 
_8 aa B 
BESS) _ p, vee, kk Bi 51. 

k41 + Ts, VE sk 8; Busy (5-1.40a) 
由 于 Bese = —onge, Bude = —ge, 故 上 上 式 也 可 写成 

BESS) _. B, + fe TIE. Yey (5.1.40b) 


4, ayid 


事实 上 ， 只 要 通过 对 (5.1.19) 作 简单 的 交换 Hes B, si y, 关 
T B: 的 BFGS 校正 就 可 得 到 ， 我 们 也 把 (5.1.40) 称 为 互补 DFP 
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公式 . 再 对 (5.1.40) 两 次 应 用 道 的 秩 一 校正 的 Sherman- Morrison 
公式 (1.2.37), 就 得 到 关于 Hi BFGS 校正 : 
ji 


LE Hkyk 
HOBEGS) og 4 ( Vig TRUE 
k+1 $ sky j SLUR 
T T 
SEYY eee {5.1.41a) 
k 
y, Sk Hrye)sk + spl — Haye)” 
=H; + aT 
k Yk 
_ T 
{ak Hive) Yk ast (5.1.41b) | 
{sx yr) 
-(r- sn.( _ wes £) 
3} Yk SE Yk 
T 
(5.1.41c) 


SkSk 
F- 
Sk Yk 


进一步 ， 著 将 (5.141) 中 H + B, stoy 互 换 ， 恒 得 关于 Bk 


T Busy ) Yue 


的 DFP 校正 : 
yf Sk 
(5.1.42a) 


DFP s 
Bat } =B + (2 + “ren Ts, 
yas? By + Busey? 


VE sk 
(ve — Bose)y + velye — Buse) 
=B; + E 
Yk fk 
-B T 
(Yr Zes) Shay? (5.1.42b) 
(vg sr) 
T 
_ PRS, SEYE 
={r- B (2 - ) 
( inet | * UE sk 
+ YE , (5.1.42c) 


+ Sk 


LEHRE AURA — AMARE ERRARE EDY 
法 . SHE MAF BIE He 通过 交换 H > B, s 4 一 y, 可 
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以 得 到 其 关于 B 的 对 偶 校正 BO. IEA Sherman-Morrison 公 
式 ， 就 可 得 到 关于 H 的 对 偶 校 正 ALD). 当然 ， 如 果 对 HE, Mt 
上 述 对 侦 运算 ， 仍 可 恢复 原来 Hai 另外 ， 对 侦 运算 保持 拟 牛 顿 
条 件 成 立 . Kee: HO 的 对 偶 是 HES. F 
图 表示 了 这 个 对 乌 关 系 : 


HP DFP) Bs 
x 
it 

j DFP) 
Bee HTS? 


变换 . 


图 5.1.3 AYU 3 HEPSS) Eann 


对 于 SR1 校正 HER”, 


HERD = H, + (sk — Hy) (sx 一 Arye)” 


tt 【sk 一 Heye) ye i (5.1.15) 
交换 Heo B, sty, A 
Von T 
Beri = By + (uve 一 Brag (yn — Buse) l 


(y — Brak)? sk (5.1.43) 
再 用 Sherman-Morrison 公式 (1.2.37) 求 道 得 到 的 仍 是 HER? 校正 
AS. 这 表明 SRI 校正 是 自 对 个 的 ， 但 它 不 保持 校正 的 正定 性 ， 
另 一 个 保持 正定 性 的 自 对 侦 校 正 是 Hoshino 公式 ， 它 在 (5.2.2) 中 
给 出 . | 

BFGS 校正 是 迄今 最 好 的 所 牛顿 公式 . EAA DFP 校正 所 具 
有 的 各 种 性 质 . 此 外 , 当 采 用 不 精确 线性 搜索 (2.5.2) 和 (2.5.4) 时 ， 
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BFGS AAR ATARI. ae PESO DFP 公式 还 未 能 
让 明成 立 , 在 数值 执行 中 ， BFGS 公式 也 优 于 DFP AK, PH 
它 常常 能 与 低 精 度 线性 搜索 方法 一 起 连用. 
PSB 校正 公式 就 是 Powel 对 称 Broyden 校正 公式 ， 它 是 对 一 
般 的 秩 一 校正 采用 对 称 化 技术 得 到 的 校正 公式 ， 
Ww Be RX" ARPA, 


(y— Ba)? 
ors 


& -B+ 
一 般 地 ， C 不 是 对 称 的 ， 这 样 我 们 考虑 

Ca = (Cı + CFT) /2. 
但 由 于 Co PREME ROTERAR TA, A EEA 
{Cx}: 
(Y — Cagsje™ 


oe > k=0,1,--- (5.1.44) 
Conta = (Cirpi + Cah.2) /2, 


Cak+1 = Cok + 


Ep, Co = B. 这 里 每 一 个 Cary, Æ Qly s) 中 最 靠近 Cu WE 
阵 ， 每 一 个 Corpo 是 最 靠近 Cau KORE. Ep, Qty, 8) 是 
满足 拟 牛 顿 条 件 的 矩阵 集合 ， Qly,s)=(C eR" | Cs =y}, F 
图 5.1.2 是 {Ci} 的 产生 图 示 ， 图 中 8 宕 示 对 称 和 矩阵 的 集合 . 


Oya) 


M512 {Ck} 序列 的 产生 
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下 面 ， 我 们 将 证 明 (5.1.44) 中 序列 {Ck} 的 极限 是 


5 — Bs)c? +e(y— Bs)? 修一 Be)7s 
B=B+ (Be gely- Bey ~ tar (5.1.45) 
它 显 然 满 足 对 称 性 和 拟 牛 顿 条 件 . 


定理 5.1.5 BER” 是 对 称 和 矩阵 ，c sy € R", cTs £0, 
设 序列 {Cy} 由 (5.1.44) 定义 ， 且 Co = B, 则 {Cy} Eaa] (5.1.45) 
定义 的 D. 

征明 “我们 仅 需 证 明 序 列 {Con} 收 敏 . 设 Gi = C, M 
(5.1.44) 吉明 


1 wpe? + cw? 


Ghai = Gat J ars (5.1.46) 
其 中 ， wk = y — Gg. 
Weti = Y — Geyi 
1 wets + wees + ews s 3 
=y- Ges — a Oe cls 
即 
esT 
wepi = Pwe, p P= pit 一 =|: (5.1.47) 
cls 


显然 ， 尸 有 一 个 符 特 征 值 ， 且 其 他 (n - 1) 个 特征 值 等 于 i 由 
81.2 答 阵 求 道 的 von Neumann 定理 得 


dow = $ Pr(y— Gos) 
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esT 
= 2(y — Bs) 一 or, — Bs). (5.1.48) 


由 于 wo 
im Gr = B+ 9 (Ges — Ge), (5.1.49) 
k= 


于 是 ， 由 (5.1.46) 和 (5.1.48) 得 到 ， 序 询 {Ge} WM. EER] 


weer + wee? + owe 
Dem — Gk) = 3 P oa 


1a 好 一 Ba) eT 


cfs 


=} ar; w- Bs}? — 


rr_1 T 
+c(y — Bs) -3 &  “ 


1 


= lly — Bs) + ely ~ Ba)" - SBP Soor 


(cs)? e (5.1.50) 


从 而 由 (5.1.49) 和 (5.1.50) 立即 得 到 结论 (5.1.45). o 
(5.1.45) 是 一 个 由 对称 化 技术 导出 的 秩 二 校正 类 Bim LF 

标 ， 可 以 写成 

(ye 一 Bessy cf + ce(ye 一 Bran)” 


Baar =Bk + 
cf sk 
-B 
— We = Besi)" sr cpet. (5.1.51) 
(Eo 


在 (5.1.51) F, BS cx = yr 一 Bese, 则 得 到 关于 Be 的 对 称 特 一 
校正 SR1 AX (5.1.43). 车 令 ce = yx, 则 得 关于 Bx 的 DEP 校正 
(5.1.42b). #84 


CE = Yk + Brsp, (5.1.52) 


Wr mts 
其 中 ， we = (yPsx/s? Bese)’, 则 得 到 关于 B 的 BFGS 校正 
(5.1.40a). 3F cy = sy, 则 得 到 PSB RUE: 

(ye 一 Busx)se + 3x(yn 一 Busy)? 


87 Bk 


wk +l 


Bri =Bi + 
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一 T ep 
EA Bisz) Sh gps, (5.1.53) 
. (85 x) 


这 个 校正 在 理论 研究 和 实际 计算 中 是 重要 的 ， 我 们 在 后 面 几 节 将 
继续 讨论 , 但 是 它 的 主要 缺点 仍 是 不 一 定 保持 校正 矩阵 的 产 定 性 . 
类 似 地 ， 我 们 可 以 得 到 


【sk 一 Hvis)VE + yelse — Hry)” 


Ans, =H, 十 
+I UE We 
. T 
(sp — Heys) Yk yT. (5.1.54) 


(yF un)” 
xT A AY Greenstadt 校正 ， 不 过 ， 它 不 及 PSB ARAA. 
5.1.5 最 小 改变 割 线 校正 

许多 拟 牛 轿 校 正 还 具有 量 小 改变 割 线 校正 的 性 质 . PIA 
改变 割 线 校正 是 指 所 得 到 的 Hepi (或 Bayi) 最 靠近 Hi (或 By). 
具有 这 个 性 质 的 拟 牛 顿 校正 有 利于 保持 上 一 次 选 代 的 信息 .利用 


这 个 性 质 和 拆 牛 顿 条 件 等 也 可 以 推导 拟 牛 顿 校正 公式 ， 
定理 5.1.6 BH BER", ye R”, s#0, 836R”, W 


— T 
Bap, Bs)s 


7; (5.1.55) 
是 极 小 化 问题 . 
min{|B — Blir : Bs = y} (5.1.56) 
的 唯一 解 . 
证 朋 DER] AA v= Bs, ik 
= _i(y~ Bgl is ss? | 
三- 一 | | | 
< |B ~ Bip. (5.1.57) 
又 由 于 Frobenius 范 数 是 严格 凸 的 ， 满 足 拟 牛顿 条 件 Bs- yt B 
的 集合 是 上 四 的 ， 改 (5.1.56) 的 解 是 叭 一 的 . 口 
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f 证 法 二 ] Æ% c= B-B, Fit d ACEi W 
(5.1.56) BRR l 


min > ller lz 
i=i 
st. cfs = (y — Bs), i=l, pan, 
RE, (y-— Baj 表示 y 一 Bs 的 第 工人 个 分 童 . 它 可 以 分 成 正信 阿 题 


min [jef >. 


s.t. cfs = (y — Bs). 


显然 ， 这 样 的 等 式 约 束 问 题 相 当 于 求 s 的 Moore-Penrose 广义 道 
st, 所 以 
一 (¥ — Bs)isT 


ci = (y — Bs),s* ars 


t 


从 而 原 问 题 的 叭 一 解 是 (5.1.55). 口 
这 个 定理 表明 Broyden 秩 一 较 正 


(Ye — Bisk) sr 


Bei = By, + a, (5.1.58) 
Sy 3k 
是 极 小 化 问题 
min{||B — Bllr : Bs, = yx} (5.1.59) 


的 唯一 解 ， (5.1.58) Æ Broyden (1965) 解 非 线 性 方程 组 时 引进 的 
WAM. 类 似 地 ， 


(sc 一 Hye yy 


fig, = A+ F 
Vk Yk 


(5.1.60) 
是 极 修 化 问题 

min{||H ~ Hille : Hun = sx} (5.1.61) 
的 唯一 解 . 
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定理 5.1.7 RBER? BMH, c, s, YER 满足 
cla > 0, REM eR" BIRR RE. BE Mc = Mo's, 
那么 校正 
y — Bs) 二 cfg 一 Bs)? | (y 一 Bs)T 5 T 


5 ( 
B=B+ T; COE (5.1.62) 

是 极 小 化 问题 
min{||B - Blla.e: Bs = y, BT = B} (5.1.63) 


的 唯一 解 ， 其 中 || Bile = || MBM ||P. 
证 明 iB EME y= Bs 的 对 称 矩 阵 , 设 Mc = Mls = 2, 
E= M(B - 8)M,E = M( 百 - B)M, M M AGRA (5.1.62), 


得 
Ee Ezz! 4 22TE zi Ez T 


zT ~ (zT 2)? zz 
BR, Eel = ||Ezlle, EE v AEF z, 则 Evl < Evla, 从 而 
[Elir < Ellr. 又 因为 f(B) = |Ë - Bim, 所 定义 的 映射 f EW 
是 


Bs=y, B'=B 


的 凸 集 上 是 严格 本 的 ， 从 而 (5.1.62) 给 出 的 B 是 问题 (5.1.63) 的 
唯一 解 . o 
特别 ， 在 (5.1.62) 中 选择 c= s, 则 得 PSB 校正 (5.1.53). 上 述 


PSB 


ERER EB 是 问题 
min {|B — Bip: BT = B, Bs = y} (5.1.64) 


的 唯一 解 . | 

特别 ,在 (5.1.62) 中 选择 c= y, 则 得 DFP 校正 (5.1.42). Lik 
定理 意味 着 ”是 问题 
min {|B - Bl : BT = B, Bs = y} 
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的 唯一 解 ， 并 且 好 是 满足 M?s: = y 的 非 奇 异 对 称 矩 阵 ， 应 用 对 


偶 处 理 方法 可 知 ， (5.1.41) 给 出 的 H 
min {Ë Hl :Br = R, By = s} (5.1.65) 
的 唯一 解 . 
852 ”Broyden 族 


bE Ap. DFP 校正 和 BFGS 校正 都 是 对 称 秩 二 校正， 
AA Any. 和 ss 构成 ， 内 此 DEP 校正 和 BFGS 校正 的 加 权 组 合 
BARRE. Seu TRIER 
He, = (1 — PHP + HBSS, (5.2.1a) 


其 中 由 是 一 个 参数 ，15.2.1a) 称 为 Broyden 族 校正 , HAH, Broyden 
Be (5.2.1a) 满足 拟 牛 顿 条件 (5.1.4) 它 也 可 以 写成 


中 DFP a gT 
Heyy = Bey + ove, 
= HBFSS + (6 Drew 


Spt Ag yny? Hy 


= k | 5 = } don; 
siuk - yf Hetk i (5.2.1b) 
其 中 H 
T 1/2] sk kYk 
ve = (yk HkYk = . 
(yi ) shy ue eye 
在 (5.2.1) 中 ， 


Ex ¢ = 0, 得 DFP 校正 (6.1.19); 
取 ¢= 1, 得 BFGS 校正 (5.1.41); 


SE Yk as 
= SR1 5.1.15); 
RK ¢ len Heu yR" 得 校正 (5.1.15); 
Hr o = 


- , 得 Hoshino 校正 . 5.2.2 
1F (yg Beye! sp yx} (5.2.2) 
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Broyden 族 校正 (5-2.1) 也 可 以 利用 拟 牛 顿 条 件 (5.1.4) 直接 得 
到 ， 考虑 由 向 量 ss 和 Ary, 的 成 的 一 般 的 秩 二 校正 


Hiri Hy + asesy + b(Haynsg + seyp He) 


+ cHryry He, (5.2.3) 


其 中 abe 是 数 ， 应 用 扳 牛 顿 条 件 得 


1 = asi yu + 有 Haye, 
O=1+ bst yy + cyl Hive. 


这 里 二 个 方程 ， 三 个 来 知 数 ， 有 一 个 自由 度 . 念 
b= 一 /si yr， 由 是 一 个 参数 


解 方程 组 ， 代 入 (5.2.3), 则 (5.2.3) 成 为 


T Yy E - 
Hf = Hy + - Feta ik ovf, 
si Uk Ya Heyr i 
其 中 H 
me fut ijz|_4k EYk 
Uk = or Hye) Ee 一 一 地 | 
siye yi Hey 


HEBD (5.2.1). AER, Broyden 族 校正 还 能 写成 如 下 明 品 
的 秩 二 校正 的 形式 ， 


Al, =H, + (on, Hays] 


1 + pyk Hite /si yx 二 
F : 
Si N hte [sk Havel’. 
_ L (5.2.4) 
Sh Yk Uy, HkYk 


对 应 地 ， 我 们 容易 产生 关于 By 的 Broyden BER 
Bey. = OBE + (1 - O)BEFGS 
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TE bean re a 


= BBFGS + Aw, ure 
L BFP a (9 — 1wewt 
yyt Byarel Be 


fee _ SRE 1 Grpwk, 


= fern + 
sive sk Bese (5.2.5) 


其 中 ， 
Yk xs | 


T T j: 
S Yk 8 Bases 


Wk = (sf Bes) 
这 里 丸和 市 的 关系 为 
E = (p—1)/(@-1— bp), (5.2.6) 


其 中 
u= y Heyst Buse] (sT ye)’ (5.2.7) 


注意 到 uy, = 9 和 wfs = 0, 因此 ， (5.2.1) 和 (5.2.5) 给 
出 的 Broyden 族 校正 对 于 任何 参数 o 和 # AR A BHA PF 
(5.1.4) Al (5.1.6). 类 和 羽 于 证 明定 理 5.1.2 和 5.1.3, 可 以 证 明 Broyden 
族 校 正 的 正定 性 质 和 二 次 终 引 性 质 . 

定理 5.2.1 (Broyden 族 校 正二 次 终止 性 定理 })” 设 疗 是 正定 二 
KAR G 是 其 Hesse HR. 那么 当 采 用 精确 线性 搜索 时 ，Broyden 
RR ER ARE RAA WE, Bt i= 0,1,…,m, 有 


Hf PE Jie = Haay = $j, 7 =0,1,---,2. 
(5.2.8) 


HARME: aT Gs; =0, jf =0,1,---,2-1. 
(5.2.9) 
方法 在 msn 步 选 代 后 终止 ， 如 果 man—-1, M Hn =G. 
证 明 “类似 于 定理 5.1.3 的 证 明 . 口 
定理 5.2.2 (Brovden HH ER EEH) HSR oho, 4H 
仅 当 sty, > 0 时 ， Broyden 族 校 正 公 式 (5.2.1) 保持 正定 性 . 
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证 明 ”由 定理 5.1.2 知 当 和 且 仪 当 shy, > 0 时 ， DFP 校正 保 
FRIESE. RAF epo, 由 联 锁 特 社 值 定理 1.2.8 知 HE 的 最 小 尘 
征 值 不 小 于 HPFP 的 最 小 特征 值 ， 所 以 五 EE. Cc 

这 个 定 运 告诉 我 们 ， 在 Broyden RP, HRSA A BOR 
上 正定 性 ， 显 热 ， 当 的 关 0 时 ， OE, RIE; 对 于 e< 0 时 ， 
RUE AEP La. HE, NERF o>, AE, BRE 
定 ， 其 中 多 是 Broyden 族 的 退化 值 ， 它 便 HP, AF. 

定理 5.2.3 Brovden 雍 校 正 的 退化 值 为 


1 1 


$= . 
i-p i — yf Heyes? Besef (sl ue)” 


(5.2.10) 


证 明 设想 = 一 Bo Sk = Onde, 当 精 确 线 性 搜索 采用 时 ， 
Te dk = giyse 一 0. 又 注意 到 vT 二 0, MA 


if 
dk} 二 一 HË agr 
T T 
SESE Ayu; Ay 
— | Hi +e — T+ guruh | on 
( ST Uk yt Bite + 
a TH 
k + 
= — Hage ~ Haye + YERU E Ue) yy, 
Ye Lleyn 
= PVR eUh | 
T 
Yk kik 
=— Hyg, + EE H Yk — oul anvn 
YE Aue i 
Y Vd 
Yi 
d? Yk 172 dy H 
= y thn SG, errs rys ) 
(uz Heyr) f kyk Yp Ae ie 
— PvE gee 
dP yr 
-( Ha - oof on Jen (5.2.11) 
(uP as] ， 


这 表明 , 当 采 用 精确 线性 搜索 时 ，(5.2.11) 成 立 . 显然 , 兴 gr HO 
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时 ， 若 df, = 0, W g 称 为 退化 值 ， 由 dga = 04 
vedi 
(ut Hry) 2h ge 
1 
~ gl Heye + (sf on) (ud Bette) /sk ys 
1 
(sk Buse) (ui Ha gr) 
(sE ue)” 


p= 


_ 1 
= Tp 


它 称 为 Broyden 族 校 正 的 退化 值 ， 记 作 9. o 

(5.2.11) 表明 Broyden MBAR 办 并 不 改变 搜索 方向 ， 而 仅 改 
变 其 长 度 ， 因 此， 可 以 预期 ， Broyden 族 中 任何 校正 的 方法 在 某 
种 程度 上 与 参数 $ 无 关 . Dixon (1972) EET: 在 精确 线性 搜索 
的 条 件 下 ， 即 使 对 非 二 次 函数 ， 所 有 Broyden 族 的 校正 公式 都 产 
生 相同 的 和 迭代 点 列 . 

定理 5.2.4 BP: R + RRB. KER Liro) = 
{x | f(t) < f(zo)} AF, Ho © AX” WREE. 又 设 币 是 Broyden 
族 校 正 的 退化 值 ， $; >. (HP) 是 Broyden 族 校正 产生 的 近似 
Mi Hesse 短 阵 序列 ， HBFS® 是 对 Hf 应 用 BFGS 校正 公式 得 到 
的 结果 ， 则 在 精确 线 竹 搜 索 条 件 下 ， Broyden KEERA FHH 
E: 对 于 所 及 29, 7e41 和 HFSS 与 参数 Po 的 天 
%. 

证 明 EF koo 结论 显然 . SEM TE b> 0, 结论 正 
确 ， 由 (5.2.11), 


) PRVE Tk Uk, 


BR drei 的 方向 不 依赖 于 Bx. MA 


BFGS 
dasa oC ARS gk+1; 
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国 此 , ES deai D iB REF 0. hi, Oe A 
此 , FARRER, Trp = Ekr toes dest F Go. Olt k- 
Gk ER. F 


` 


| T - T 
` “YL: had Shae 
HBESS ={1 pote) at, (1 a} 


Shy Ube SE EL 
T 
Sh Si ; 
as (5.2.12) 
Sp eet 
而 
HE = HEET + [Oe — Lukt» (5.2.13) 
由 于 
3 
|r- Sten] -Skl = 0, 
Sky ERS 
由 (5.2.11), 
T 4 
SHI 1 
|z ~ Ey = 0. (5.2.14) 
41 ¥R+1 | 


因此 ， 将 (5.2.13) 代入 (5.2.12), 并 利用 (5.2.14) BAT HPS? 可 
以 用 HEFGS, Sho 和 Yet 定义 . 这 样 ， 由 归纳 法 假设 ， ARES? 与 
PoP o Pk BR. WERT AAEM. o 

于 面 给 出 Dixon 定理 的 男 一 种 表述 和 证 明 . 

定理 5.2.5 设 zo RRA, Ho 是 给 出 的 初始 对 称 于 定 抵 
阵 ， 设 {2} 是 由 DFP 公式 产生 的 点 列 ， 且 o= zo Ho = Ho, 对 
应 于 这 个 序列 的 所 有 其 他 量 均 用 “~ ”表示 . 设 {ita} 是 由 Broyden 
族 核 正 产生 的 点 列 ， 义 设 对 于 序列 {erh 应 用 DFP 公式 得 到 的 将 
加 上 上 标 “D?, 假定 退化 信 几 避 免 使 出 ， 见 在 精确 线性 搂 索 条 件 
下 ， 对 于 所 有 k, 有 


te = Ep, 五 一 Ay + OO Est (5.2.15) 
其 中 gp? 是 某 个 数 ， 
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证 阴 ”根据 (5.2.11), Broyden 族 校 正 可 以 写成 
Aya = HP, + Yao? 

= RP, + bab (PV. (5.2.16) 

BR, WE k=l, Z =o. BE PRR RE ET 


以 得 到 
Hy = Ë + oO aya. 


分 假 定 结 论 (5.2.15) HPF k pear. FRE, oy 处 的 方向 de 为 
dy 一 一 用 gx = Hage — 65 ge = eor Ae ge. 
Va Ay. PE AA) AE) PE) Se ek 
De rl = Tkl. (5.2.17) 
Eni 
Fk Yk, k = Sk. (5.2.18) 
H (5.2.48), 
Heti =H tA? SPs Ra) 


Heyy Hy, sps 
=H, y Uy Hk 于 ksk k 
Vi Ais sT yr 


T 
HAP sia (sE) 


77 v a Hyt H 
-条 


vE Faye 
T 
Ekk , fa} D 1 FP 
Ty $ EGY 
Si Yke 
F EEEN Hre RaT za 
-fa + BAER, D y opia 
GE Arie kyk 
Hey He o srêg 


vk Haye ST yg 


SHF Hy = Hy + (OST, 故 (5.2.19) 右边 第 二 、 第 四 、 第 五 项 
Hi #3 


Hd A + suet - (Hy + (OUST) aE (Ae + $s) 
of Ave * Vi af (Ay + P2537) Fe 
=G 3, oF. 


注意 到 (52.18), mh 6.2.19) 中 右边 第 兰 项 与 第 六 项 抵 销 ， 因 此 
(8.2.19) 成 为 


, » r 
Heri = Anyi + oO aT + of spals Pa) 


~ jp r 
= Hgy + o Sepi (Bea) + g? sP {s Pp . 
(3.2.20) 
4 
si? H 
Spay X iktifa: 
x 


Apigesr X Skeet. 
用 ge A Æ (5.2.20) WH. 19 
sP X Shai. 
在 (5.2.20) 中 利用 上 式 ， 并 合并 ， 得 
Hra = Hepi + okre kar 


这 完成 了 妇 纳 法 证 明 . = i 
这 个 定 至 是 重要 的 ， 它 允许 我 们 把 站 人 策 性 和 临 效 建 床 的 结果 
E BI Broyden 族 ， 


$5.3 Huang FR 


Huang (1970) 提出 一 类 比 Broyden KEJ WHIFAK. 7 
Broyden WEP, WERE {Hr} RRA, ARE 
HirsiVk = Sk- (5.3.1) 
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而 让 Huang 艾 中 取消 了 对 He 的 对 称 性 的 眼 制 ， 并 且 产 生 的 矩阵 

{Hx} 满足 . 
Weave = Psk, (5.3.2) 

其 中 p 是 一 个 参数 Huang 族 算法 应 用 于 正定 二 次 哨 数 村， 产生 

GAH, AA Se. Brey Huang 族 校 正 公式 都 产生 相同 

的 进 代 点 烈 ， 对 于 非 二 次 函数 ， Huang 族 校 正 公式 所 生成 的 点 列 

仅 依赖 于 参数 p 

FERIE? Huang 族 校正 公式 ， 和 注意 到 


Ekti — Tk = Sk = Od, = -ar HE gy, 


Gk+1 — fh = Yk = Gsk. 


Hate HE. . 
s$Gs;=0, j=90,1,---,4-1, (5.3.3) 
则 
g HiGs;=0, j=0,1,--,k—1 (5.3.4) 
MEP SLSR HHE 
ges; =0, J =O0,1,--.,k-1, (5.3.5) 


故 将 (5.5.4) 和 (5.3.5) 比较， 得 
HypGs;=ps;, j=0,1, k1, (5.3.6) 


其 中 总 是 任意 常数 , 因此 . 若 Ay 满足 (5.3.6), WHER (5.3.3) 
满 足 ， 今 说 校正 公式 按照 下 列 关系 式 修改 : 


Aa = A, + AH,, (5.3.7) 
则 由 (65.3.6) 有 


HrriGsy = pj, j == 0, 1,--:,k-1, (5.3.8) 


Hr41G Sk = Ske (5.3.9) 


对 于 (5.3.8), 有 
(His — Ay)Ga; = 0, j=09,l, e kl, 
pi 
AHxyj =0, j=0,1,. kl. (5.3.10) 
对 于 (5.3.9), 有 
AHpyr = Psk ~ Heyer, (5.3.11) 
Ril 
eile = pup. (5.3.12) 


RAVER AT” MHF RIF 为 了 满足 广义 拟 牛 顿 条 件 ，Huang 
RAK AN, AREA s Hy, 的 线性 组 合 ， 一 种 简单 的 形 
式 为 

AH, = spuk + Heyer}, {5.3.13} 
其 中 ur Muy 是 待定 的 n 维 向 量 ， 为 了 满足 (5.3.10) 和 (58.11), 
可 以 要 求 up, ve 满足 下 列 条 性 : 


_ 0, 1 = 0,1, -k — L; (5.3.14a) 

Me Yj ; 5.3.14b 

pP jk (5.3.14b) 

Tr [9% FsQh, ke ~ l; (5.3.15a) 
Una = - 

1, jak. (5.3.15b) 


如 何 选择 wx, te WELEER? 因为 我 们 假定 搜索 方向 是 G HK 
We, Be 
s,Gs;=0, j=0,1,---,k-1, 


Ep , 
spy; =O, j=0,1,...,k—1. (5.3.16) 


由 精确 一 维 搜索 有 
yi 85 =0, 7=0,1,:--,k-1, 
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和 用 (5.3.6), 有 
天 有 Ge 一 0， 了 一 01 一】 


HH 
ye Hey; = 一 Eer ie 5.3.17 
yp Hey; =O, FEO leo ead (5.3.17) 


这 样 ， 由 (5.3.16) 和 (6.3.17) TAR, BREA ur 和 为 sk MAP ye 
的 线性 组 合 ， 


uk = Ask ~ oH E Yks (5.3.18a) 


Uk = Q215 + Ae; Yks (5.3.18b) 


WY (5.3.14a) 和 (5.3.15a) MÆ hF (6.3.18) 中 ai 是 待定 参数 ， 
适当 选择 ux 和 vy 满足 


UL Vk = p, (5.3.19a)} 
vey = L, (5.3.19b) 


则 (5.3.14b) 和 (5.3.15b) HR. th, RARE) Huang 族 校 正 
公式 为 
Hygi = Hye + seul + Heyrt, (5.3.20) 

Heh ou, 和 og 由 (5.3.18) 给 出 ， 且 满足 (5.3.19) 的 要 求 ， 在 Huang 
族 校 正 公 式 中 有 五 个 参数 ou 和 p, 其 中 有 三 个 自 出 和 参数， 因此， 
Huang EREZA RATZ SR. 

ES p = 1, 并 要 求 {Hx} 对称 ， 则 应 有 ma = a21. 这 时 Huang 
族 中 只 有 一 个 自由 参数 了 ， 若 取 an 为 自由 参数 ， 令 


ali (Ty) 一 sT yk 


y? Have 
j iHe 1 
UL RUE 
a= ¥ T 
(sf yn) Sk Uk 
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由 (5.3.18) 和 (5.3.19) 得 


dQ12 > 421 = oe 
k 
ang = SL 
只 RU 


代入 (5.3.20), 得 


T T 
sks Hryryi Hk 
Hpi Hkt 一 
+ siur yA Aye 


+ pT 
on Sk sR 
siye up eye | 
这 表明 Broyden 族 拟 牛顿 校正 公式 是 Huang 族 的 子 族 ， 特别 ， 
4 p=1, a2 = ag, = 0, 得 DFP 公式 5.1.19). 
$ p=1, 2012 = 421, oo = 0, 得 BFGS 公式 (5.1.41). 
注意 ， Huang 族 校正 公式 也 可 以 写成 


Tk = TET 


Alyy) = Hk+ CALCH, (5.3.21} 
其 中 ， Cy dk nx 2 5B, A, 是 2x2 和 矩阵 ， 


Gi lee Hew), A= [% ae], 
从 前 面 的 讨论 可 知 。 Huang 族 校 正 公式 由 (5.3.20), (5.3.18) 
和 (5.3.19) 确定 ， Huang 族 变 尺度 方 靶 应 用 于 正定 二 次 函数 时 ， 
产生 的 搜索 方向 是 共 固 的 ， 从 而 具有 二 次 终止 性 . 
定理 5.3.1 (Huang 族 方 法 二 次 终止 性 定理 ) ”如 果 了 是 二 次 
函数 ， G 是 其 Hesse HM, MAM RARER, Huang 
BRA PPP: MF i =0,1.---.m, 


iyi = $j, j = 0, 1, try i, (5.3.22) 
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sl Gs; =0, j=0,1, iL (5.3.23) 


FRE m+i<nPERBAL. MRm=n-1, MH, = 9G. 

证 期 ZELF 58.13, BSR BAY. 口 

关于 Huang 族 变 凡 度 方法 的 重要 结果 是 : 对 于 正定 二 次 画 
数 ， 所 有 Huang 族 变 尺度 方法 都 产生 相向 的 迭代 点 列 . 对 于 一 般 
非 二 次 函数 ， 所 生成 的 点 列 只 依赖 于 参数 p 

引 理 5,3.2 hf AR” 上 的 可 微 实 少数 ， 丸 设 once. 和 
Ay WE RE 

98 ZO, giyse = 0. (5.3.24) 


那么 ， 对 所 有 Huang RR TEA. H 
dyi = — HE geet (5.3.25) 
定义 的 方向 depi WERA 


spyt 
deyi = —{1 +a HI gya) | 一 SE HF ger (5.3.26) 


T 


k Yk 
iE BA 
dki 二 一 HE k~i 
= ~ Hg gets — UkSp Ikt — CeYE HE Skt 
= = Hf geri — (ansk + 022 HE yn) ye HA grt 
=— Hi ge} — (ansk + a22 HE 041 
十 (gaa ak) sn) yk HE geti 
= — (1 + azyk He gry) HE Ikt 
— (az + azi /oF) SkY He gest: (5.3.27) 
由 于 
— (a1 + td22/ OF) sk yr = — lans] Yk 一 arp HE ge} 
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二 一 (aos, Ue + as2ag H} yx 一 anyk Hi ger1) 
二 一 (vg Yk 一 22k HE ger1) 


=1 + @223 Hi geyi 
从 而 (5.3.27) 成 为 


T gT GEH 
dri = ~(1 + a22yk HE geri) |T- F 
SE Yk 


[azo 


(5.3.28) 


这 个 引 理 表示 搜索 方向 den 不 依赖 于 校正 公式 的 参数 ， 邮 所 
有 Huang 族 校正 公开 所 产生 的 搜索 方向 都 是 相同 的 ， 利 用 这 个 引 


理 ， 容 易 得 到 


定理 5.3.3 YER OKRA EN xo 与 Ho 在 精确 一 


维 搜索 条 件 下 ， Huang 旋 所 有 算法 产生 相同 的 送 代 点 列 . 


证 了 明 ”定义 
Hear = 1+ 2223 Anges, 
T 
SkYE T 
Gkt+i 二 一 |z 一 |x k+l- 
sly, { * 


由 引 理 5.3.2, deyi 可 以 写成 
drat = Hk+lfk+1s 


x 


Ski = Wk deri = [kpi itki gk. 


这 表明 qui 是 Hoang 族 校 正 公 式 给 出 的 一 个 共同 方向 . 


gg 一 ~H 90, 


应 用 Huang 族 校正 公式 对 gk+1 的 表达 式 递 推 ， 可 得 


k siy? 

Us 

an=- 0 
了 
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(5.3.29) 


(5.3.30) 


(5.3.31) 


(5.3.32) 


对 于 给 出 的 ro 和 Ho. go 由 (5.3.31) 给 出 , 它 对 于 所 有 Huang 
族 算 法 都 是 相同 的 ， 因 而 位 移 so, 点 21, 梯度 加 以 及 梯度 莽 yo 对 
所 有 Huang 族 算 法 都 是 相同 的 ， 根据 (5.3.32) 产生 的 

T 
41 -~|r- oe | Wea 

对 所 有 Huang 族 算法 也 是 相同 的 ,， 因而 91.22, 90,11 对 所 有 Huang 
族 算 法 相同 . 依 此 类 推 ， 我 们 就 可 以 得 到 定理 的 结论 . 口 

FKE, BF gy 是 Huang KREATA HATERA 
向 ， 对 于 正定 二 次 函数 ,在 精确 线性 搜索 条 件 下 ,由 步 长 园子 的 显 
AHA (4.2.17), 有 


T 
— Fei Gk+1 


ee Ghar (5.3.33) 
qk + 


Sk+1 = 
这 样 , 下 一 点 ee 不 依赖 于 以 正 公式 中 的 参数 . 因而 对 所 有 Huang 
族 算法 ， 产 生 的 点 列 是 相同 的 ， 
进一步 ， 王 述 定理 可 以 推广 到 一 般 非 二 次 函数 ， 
定理 5.3.4 hf 2 RP HESAR Vi oo MS 
T AMAT k, 


siy #0, an+ az fat #0, (5.3.34) 


其 中 al EEEE of sy = 0 的 数 ， 那 么 ， 由 Huang 族 变 
尺度 方法 产生 的 点 列 To, Tl1: 将 只 依赖 二 参数 p 的 选取 . 

证 阴 ”对 给 定 的 点 xo 和 第 阵 Ho, 方向 do 对 所 有 Huang 
获 变 尺度 方法 是 相同 的 ， 从 而 zl soyo 也 相同 . 根据 引 理 5.3.2, 
d1,%2,81,4 也 相同 . 现 假定 对 所 有 Huang 族 方法 已 存在 相同 点 列 
Zoia p41, 我 们 证 明 它 们 产生 的 x+ 也 是 相同 的 . 

根据 引 理 5.3.1， 


dk+1 = 一 {1 + anyk HE gp 1 VRHE gt (5.3.35) 
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其 中 


T 
R, =1— “Ee. (5.3.36) 
SE Yk 
注意 ， 对 所 有 k, 
Rysa = 0. (5.3.37) 
因此 ， 
Repisess = hy {1+ azzyp HE gei Rey Pe HE gers 
=. 
由 (5.3.28) HR (5.3.34), 
1+ azy} Hagest = — (az + e22/aj) sh ye F 0, 
这 样 必 有 
Reet Ree ges. = 0, (5.3.38) 
由 (5.3.37), 
Re Hi gr = Rs =0, (5.3.39) 
k 
故 由 (5.3.18), (5.3.19) 和 (5.3.39) 得 
ap = 01; Besk + C12 Ri HE ye 
= a2 Re HE yk 
一 a12 Re HE ge 41. (5.3.40) 


类 似 地 ， 有 
Riv, = 42, Rasp — G22 Re HE ys 
= az Ry HR gk+1. (5.3.41) 
又 根据 (5.3.18) 和 (5.3.19), 


SRY Uk 


Rkuk = Uk ~ 了 
5, Yk 
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= ur — papi, (5.3.42) 
$y Mk 
Bp 
UE = Aplik ~p ok . (5.3.43) 
ah Uk 
将 (5.3.40) 代入 上 式 ， 并 利用 (5.3.38), 得 
Regis 
Aggite = tia Rki Ry HË Jk+ 十 ey, 
k 
Rk41Sk 
= p - 5.3.44 
“SE ux Beas 
类 似 上 地 ， 有 R 
Rigi dy = ~ ott (5.3.45) 
Sp Yk 
于 是 


T T T T gT 
Revi ey, =Rer Hy + Regiuesy + Ripuy HZ 
Rep18esp Rep iseyp HE 


Sl Yk sf yk 


7 
Sh 8 
= Ripi l- te) aE + PRs Êk 
Spun 


= Rey HE +p 


T SkSk 
= Resi Ri Ay + PR -A 


5.3.46 
oT yy { ) 
ELAM ER A Re, A 
Sk— 18} 1 
RHE = AR H. 1+ pie w (5.3.47) 
sf 1 一 1 


对 上 式 反 复 递 推 ， 可 得 


k- k 了 
RHF = (TL Jag + +5 ( [I Ry) on (5.3.48) 
nape Py; 


a=0 


将 上 式 代 入 (5.3.35)， 可 以 断定 搜索 方向 dy 仅 依赖 于 p, 因此 
zk_2 HALRB p. - C ， 

最 后 ， 我 们 指出 ， 当 极 小 化 正定 二 次 函数 时 ， 若 取 Ho = 了, 则 
Huang 族 校正 公式 产生 的 搜索 方向 与 Fletcher-Reeves $9 Hf HEM 
相同 . 

事实 上 ， 我 们 可 将 Huang 族 变 尺度 方法 的 公共 方向 (5.3.31) 
种 (5.3.32) 重 写 如 下 : 


qo = —H# go, (5.3.48) 
k T 
~ 4345 
dent = -fr -5 PE Hi gesi (5.3.50) 
jao $a Y 
ELT AGE 
geti = —Hkt1gk+1, (5.3.51) 
其 中 Hoel 
4 
Ales = HE ~ ek k=0,1,--- (5.3.52) 
Sk Yk 


HFAA ES), PAAR GFE IG Ay i BE AN E a 4.1.3, 在 
gpg = 0, j= 0,1,.. ke (5.8.53) 


将 (5.3.50) 代入 (5.3.53), 有 


i—i T T 
93 Hoyist diva . 
gj Hoges. > ier cee =0, j=0,1,:--,%. (5.3.54) 
i=0 au 


但 是 ， 对 于 is 0,1,...,3 一 上 有 Si gg+1 = 0. 因此 
97 Hoge =0, j=0,1, k. (5.3.55) 
现在 假定 Ho 对 称 ， 则 (5.3.50) ay EA 
q 


P 
_ GG 1 
T 


qe+1 =- |i H, ， 5.3.56 
| qiyn | ok+1 ( ) 


& Ho =1,# 


T 
GepiGk-t -: 
RE = — k+l t - (5.3.57) 
dk+1 Get ays 
利用 (5.3.53) 和 (5.3.57), 有 
GE Ye = qk Ghai — Ge Ik 
r 
' kik T 
= gh ge — af gk 
| 
= gi Jk, (5.3.58) 
# (5.3.57) 可 写成 
T 
g Git as 
Gkel = 一 k+l 十 I oe (5.3.59) 
Jk Gk 


从 而 ， 这 个 搜索 方向 与 Fletcher-Reeves 算法 的 情形 相同 . 
85.4 算法 的 不 变性 
不 变性 对 于 算法 来 说 是 一 个 重要 性 质 ， 即 经 过 变量 线性 变 措 
Ia, FIER RE. 
对 于 牛顿 型 算法 ， 考 谍 作 一 个 一 般 线性 变 摘 
y = Arta, (5.4.1) 
其 中 Ae RX” 非 奇异 . 于 是 
r= Ay —a). (5.4.2) 


函数 f(e) 可 以 看 作 或 者 从 = 计算 ( 璧 如 Jele), RAM y 计算 ( 璧 
如 f(y), RNA 


fa (a) = fol A y 一 a)) = Fuly)- 
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ee 


Oyn O rê 
AL, 5.4.3 
= 3. be: By 2 AB (5.4.3) 


Bh 
Va = AVG (5.4.4) 


FH, Vaf =A" Vyf, BH 
gs = At gy- (5.4.5) 
类 似 地 ， 对 gz RE. Vig? = ATV yga A, BE 
l Gz = ATGA. (5.4.6) 


(5.4.5) #646 给 出 了 在 > Ay 坐标 系 中 导数 的 关系 ， 

BRAK RY AEE. FESR IAI Of, A yk 二 Ave te 
可 得 到 yry = Azer +a, 则 称 算法 在 线性 变 向 【5.4.1) FRR E 
$. 

47> SPE H 等 于 或 近似 Hesse $ Gul, 于 是 可 得 下 面 的 
关于 牛顿 型 方法 的 不 变性 定理 . 

定理 5.4.1 ”如 果 


(Hele = AHi] AT, Vk BAT) 


那么 , 在 变换 (5.4.1) F. PEE ou EMEI E, 
证 明 “用 归纳 法 证 明 ， 对 于 大 = 0, 结论 显然 ， 假 定 对 基 
kz = 0, 到 一 Ag, + a, 将 牛顿 型 方法 应 用 到 fk 和 Ue 上 ， 则 


Ceti = £k — Apl Ay) o(gehs, 


Yk = Yk 一 on An) y (ge dy 
= Ar, ta — oA Hele AT Aa" lane 
= Atp.1 + a. 
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这 完成 了 归纳 法 正明 . 0 

上 述 定 理 表 明 , 只 要 关系 式 (5.4.7) 成 立 ， 只 要 步 长 因子 ar 不 
受 线 性 变换 的 影响 ， 则 经 过 线性 变换 的 千 顿 型 方法 箱 原 米 的 证 法 
产生 相同 的 方向 ， 

推论 5.4.2 ”如 果 步 长 因子 ox 由 fe, olds 或 其 他 不 变数 试 
PHE DUTT RR AR SEAS AB AY 

证 明 ”由 定义 可 知 f 是 不 变 的 ， 即 = fy. 又 


gids =— gi Hage = -9 AA H ATTAT 9, 


=g} dy, 


因而 gid 也 是 不 变 的 ， 这 样 步 长 因子 o BAN, A541 
立 得 结论 . a 

fi, RR PMR BAA RE. 事实 上 ， FRR FERH, 
Hy =F, kpi = Ek — Ogle le. TERR yi = Ate 十 a 下， 


Yeti = Ye — Onlor)y = Ak Ha — ak A! (ne 
天 Atks1 + a. 


显然 , 如 果 AT = A DEAR. 最 速 下 降 法 保持 不 变性 . 同 
样 地 , 修改 牛顿 也 不 具有 不 变性 ， 这 是 因为 当 x > OME Gtr 
AR BEG 当地 变换 . 

为 了 证 明 拟 午 顿 法 的 不 变性 ， 有 必要 证 明 校正 公式 保持 变换 
性 质 (5.4.7). 考虑 z ARRAY DFP AR. HR, RBH 
去 下 标 K. 

ss Heyayt Hy 


H, = H, + 2 = ， 
"sly, yl Hive 


| (5.4.8) 


这 里 ye = (getile— (Galas vy = (Get1)y— (Gedy 由 (5.4.1) A (5.4.5) 
有 As, = Sy, yx = A’ yy. 对 (5.48) MAH A MAR A”, 立即 
得 到 AHAT = H, 意味 着 AHA = H, 因此 DFP 公式 保持 变 
HHR (5.4.7) 类 似 的 结果 对 BFGS 公式 也 成 立 . 进一步 ， 对 于 任 
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MAR (AEH he 0 Je HR Be La] Bros 和 Hy FS IER -- 
BS) AN), LERRA (5.4.7) 成 立 ， 从 而 不 变性 质 都 成 立 ， 

不 变 忧 算法 的 重要 性 在 于 它 不 易 受 到 坏 条 件 窍 阵 的 和 干扰， 因 
这 在 处 理 坏 条 件 问题 时 它 比 非 不 变性 算法 有 了 明显 的 优越 性 . PIAN: 
4G 是 坏 条 件 的 时 候 ， 对 于 不 变 尾 算法 ， 我 们 可 以 作 一 个 变换 把 
它 变换 成 G 二 了 而 本 改变 算法 ， 对 于 非 不 变性 算法 ， 例 如 最 速 下 
Mik, MEG 是 坏 条 件 ， 则 执行 就 很 其， a 

有 些 方法 虽然 在 一 般 线性 变换 (5.41) 下 不 是 不 变 的 ， 但 采用 
某 种 调 比 策略 后 它 可 以 是 厅 变 的 ， 而 且 还 可 以 改善 问题 的 条 件 . 
关于 调 比拟 牛顿 法 我 们 将 在 85.7 介绍 . 

与 算法 不 变性 有 关 的 还 有 尺 讼 不 变性 问题 ， 供 如 ， 欧 几时 德 
距离 在 一 般 线性 变换 之 证 下 是 不 变 的 ， 踊 在 -一般 线 性 赛 措 [5.4.1) 
下 


ly” — y'lle = lia” — zlo 
不 成 立 ， 但 是 ， 由 椭 球 范 数 
Lilla = (A Gh)? 
度量 的 距离 却 保 持 不 变性 ， 即 有 
liv” —ylle, = He — 2'lle,. 


事实 上 ,. 


H 


—y'lé, =@" yO -y) 
— (z ey? ATG Ala" z') 


= E _ ey Gi" _ a’) 


lly 


= lje" — s'he, 


- 262 - 


§5.5 拟 和 牛顿 法 的 局 部 收 训 性 


5.5.1 一般 扫 牛顿 法 的 超 线 性 收 和 伍 特 征 
iF: 8? 一 R 是 一 个 映射 ， 在 收 襄 性 分 析 中 常常 种 要 下 列 


假设 条 件 : 
(a) Fi R +R ERFDE DCR" 中 连续 可 微 ; 
(b) 存在 r* eD, A FF(z*) =0, F(z) 4B ay HR. (5.5.0a) 


(c) F! 在 z* 处 满足 Lipschite 条 件 ， 即 存在 常数 7, 使 得 
| 一 本 (中 系 人 一， eed. 


在 最 优化 问题 
min fla), ze R” 


中 ， (5.5.0a) 中 的 F(x) Hey Viele) Be g(a}, F(a) RA Ve Fle) 或 
G(x), RRA (5.5.08) 成 为 
(a) F: R RE 在 开店 集 DCR? 中 二 阶 连续 可 微 ， 
(b) 在 在 了 的 一 个 强 局 部 极 小 点 r" © D, Vfl) TES: 
(5.5.0b) 
(c) 存在 r 的 一 个 邻 域 和 N(x*,e), 使 得 


IV? f(z) — VIS Eye wl ve,z © N(2*,¢). 


TH, RINSASMKFMREGCAH REARS. 
定理 5.5.1 KE: R* + RPE (5.5.0a) 中 的 假设 条 件 a), 
(b), MH {Bx} 为 一 非 奇异 答 阵 序列 ， 假定 对 某 zo CD, 选 代 序 列 


Tk+i1 =a, — B; Flas) (5.5.1) 
Wt DHA rkr’ (Wk 20), RABAT rt. 则 尖 且 仅 当 


lim I ‘Be 一 F'(e*)] (trr — z) =0 


k= +90 中 ze — rel 


(5.5.2) 
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MM, FER {re} BAPE AS ct. 
证 明 ”首先 假定 (5.5.2) Ro. HF 


[Bx 一 F'(x"}) (feq1 tp) = —F (ep) F(T) {XE+1 一 ty) 


=[F(epei) — Fen) 一 下 人 Kerti rR} 一 下 (zerl) 


于 是 ， 由 定理 12.14, 有 
hEei (Be ~ F'(e*}) sa 


lsell lsa 
.1 F(ziri)— Flzx) 一 (zs sk 
|| xl] 
o vn, 一 F'(z*)sal] 
> isli 


+ Ylex = e"l + les 一 


HF, iin zk 二 0", He 


lim iF (eee rll 


: = 0. 
stoe [se 


因为 lim jisx|| =09, 4 
he 


Flr)= lim Fla,) =0. 


koto 


又 由 于 F'(z*) EA WHE 1.2.15 知 存在 85 > 0, ko 之 


得 Vi 2 kon 有 


[E (ært)! + |E (241) — Fle 2 ller — e*l]. 
因此 ， 
Pre Biren e] gk 
Ieee — Cell ~ [reer — ati] + jee l] 二 


15. 5.3) 


(5.5.4) 


0, 使 


EP, mx 三 [ze —z*||/|lzx —z*||. (5.5.5) BOR ri /(Lt+ re) 收 
ATE, Mitt 


lim +, =0. (5.5.6) 
k= +20 


这 意味 着 序列 {on} 超 线性 收 伍 到 z. 
反之 ， 假 定 {zx} BRERA] xz*, A Fi) = 0， 由 定理 
1.2.15, 知 存在 于 > Ü, ky > 0, HIB VE 2 ky, 有 


[Fieri S jrs — 2th, 


HF {re} PREECE, OE 


Tepl ET] :Fire l 
G= lim J Zk+! | > lim 了 LEk Dl 
Be ee wh Ts Berar] 
= ji ] ELENI [æ+ — txl] 
一 im 一 7 一 . 7 -= 7 ` 
k=+ 9 esi 一 kj lias 一 xt f 


由 定理 1.5.1 有 有 Jim [Ek 一 seji [fae 一 2 =1. 从 而 
aries 


人 = 0. 
kto [tp — zg |l 

再 由 (5.5.3) 可 推 知 (5.5.2) or. o 

定理 5.5.1 表明 ， 如 果 {By} 收 但 到 Fet), 则 (5.5.2) 成 立 ， 
MAE AR. TARIHE. IR SIA ie, B 
使 {By} BERRE] P(e"), (5.5.2) 仍然 成 立 ， 下 一 个 定理 证 明 
T: 当 且 仪 当 步 长 因子 序列 {oy} 收 合 到 1 时， 方法 具有 起 线性 收 

定理 5.5.2 F: R” > RO 满足 定理 5.5.1 的 假设 . 设 {Br} 
FEAR EY FREER SY. PLM ET roe D, 由 


Let] = ep — aB; Fez) (5.5.7) 


产生 的 序列 {r} 都 在 D PASE ot 如 果 (5.5.2) 成 立 ， 那 么 
{re} ROR EM Sl 2” H Fiz*) =0 BAH {on} WR) 1. 
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证 明 ā ABE {zr} BAER RA x” 及 F(x*) = 0. 由 定理 
5.5.1, ay 


[lor Be — F'(x*)] (2k41 — wx) 


i = 0. 5.5.8 
mastic ERREN ( ) 
因而 (5.5.2) 意味 着 
lim ||(ag! = 1) Bears = zx) /Hares ~ all = 0. 


tao 
HF By (agi rr) = —onF (an), MERWE 


pim Ian — 1) Flze) Vllerri ~ tel] =0. (5.5.9) 
由 于 Pa") 非 奇 异 , ee EE 1.2.15 知 存在 8 > 0, 使 得 上 F(z 放送 
Blier 一 站 RA {en} HRERS MER LSI A lim ees 一 
zi — 27 |] = 1, AFH (5.5.9) 立 得 {orn} 收 伍 到 1. 

上 友之， 假定 fax} WB) 1 从 (5.5.2) 可 知 (5.5.8) air. N 
iE. EE 5.5.1 保证 了 {xx} BAA SE x* 并 且 Fla) = 0. 

定时 5.5.2 也 租 释 了 当 村 使 方法 超 线 性 收 航 时 ， 为 什么 求 步 长 
因子 og 的 方法 必须 最 终 产 生 靠 近 1 的 值 . 

TE. 我 们 进一步 来 阐述 拟 和 牛顿 法 超 线 性 收敛 的 几何 意义 , 即 
(5.5.2) 等 价 的 和 几何 前 表示 ， 

设 Sk = Tkp 一 zh 又 设 该 序列 的 牛顿 校正 为 sY = —F'(2,) 
-F(zn). 由 于 F(z) = 一 Brisk 则 


Sr — si = sp + F'(I} FizR) = F(a 1E" {zk) 一 Bilsk, 
因此 (5.5.2) 等 价 于 


tog oa 9 
k— +00 lisxl| 


(5.5.10) 
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上 式 表 明 当 fo.) BARES, s 作为 of 的 近似 向 量 ， 其 竹 对 
误 基 应 趋 于 零 ， 容易 证 明 这 等 价 于 要 求 ss 无 论 在 长 度 上 还 是 在 方 
向 上 都 趋向 于 of. 为 此 ， 我 们 建立 以 下 引 理 . 

引 理 5.5.3 ous c R^, uv #0 Ha € (0.1) 如 里 
e — vil < eljell, W {u 0) AEE 


ar 2 _ 
ga, 1- ( (u L ) <a’, 15.5.11) 
jill 


RE, WH (u,v) BIER 5.11) R N 
lu — el] < Beale) (5.5.12) 
证 明 FEBE lu- ols aleh W 
lel- tell] te- 
I |S Tel 
于 是 (5.5.11) 中 第 -个 不 等 式 成 立 ， 记 中 = (uv) {lel loi) 注意 
到 


lu — vl]? = jel? — let lee + Hel]? > ela -w?), 
这 证 明了 (5.5.11) PR PAR. Eh Ae < 0, WHE 
等 式 部 分 可 知 fle oll = leil Arie el. Aik, Ha< 1, 则 必 有 有 
(uu) 为 正 . 
反之 ， 车 (uv) 为 正 且 (5.5.11) 成 立 ， 则 


[|x — el? = Ciel] — eD? + 201 = w) reff lle]. 
< owl + 201 + a}. 


由 于 a <1, 故 得 (5.5.12). O 
由 这 个 引 理 可 知 , FF (5.5.10) Roa BHEE ER € E (0,1), 
当 k 2 ko 时 ， 


ss — sf || < essll. 
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根据 引 理 5.5.3, 应 有 《sk sm ) >O EM k Sk 时 有 


” 1 (R ce 
leiit 
这 表明 (5.5.10) 等 价 于 


lgi Sk i =]. 5.5.13 
E er ee À Terli Jef T 人 


从 而 我 们 有 结论 : 所 牛顿 法 超 线性 收 仇 的 充分 必要 条 件 是 其 位 移 
s 在 长 床 和 方向 上 都 渐 近 地 趋向 于 牛顿 方向 sR ， 

现在 我 们 考虑 在 精确 线性 搜索 与 非 精 确 线 性 搜索 条 件 下 的 超 
Beit de ae HE. 

定理 5.5.4 HS: RS RAR RAE (5.5.0b) 中 的 ia) 
AN (b), Miz {Br} AAPA RHE. 假定 对 革 个 ro e D, K 
代 序 列 


Ekti = Ek — 0, By ge (5.5.14) 
产生 的 {xx} WE D PA a, £e (WR 2 O) MRAP AP 
a’. ok ABABA et, WS 

im Br 一 Ye sell _ 


k>a isel 


REH WA or 一 工 和 g(r) = 0, 从 而 序列 [zx] ERA 


T. 


(5.5.35) 


证 明 ABE (5.5.15) 成 立时 有 ax 一 1. 其 余 结 论 可 直 
接 从 定理 5.5.2 得 到 . 
l 由 于 V?f(x") 正定 ， 故 sg Vrs > Jsl PAVE, 
TEL A aot ue RH l 
(ak — 1s} V7 f(a" sx 一 oflsx|2) (5.5.16) 
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由 (1.2.79) 有 


[geti el 
EH re on" A V7 flr) 的 连续 性 ， 有 
graa — Jk V’ fiets] = o{|[se[l). 
于 是 ， 
Jerisk — GE Sk — Sp V F(E Yer = olls”). (5.5.17) 


由 于 ax 是 精确 线性 搜索 的 步 长 因子 ， 融 gipse = 0, 又 Bes, = 
a, Bid, = 一 akgk BE (5.5.17) 可 写 为 


sr ss = -gk sk 十 ot{llsxll®) 
1 . 
= rst Base + o((lsul?), 


(5.5.18) 


而 由 (5.5.15) 知 


sk [Be — Vo St] se = ofllsel?), 


这 样 ， 由 (5.5.18) 有 


er 


læk ~ 1)si VI f(a jsp = 5 [Be — V? Fla*)] su + ofisi?) 


t 
k 
= of ||se}!?). 


这 证 明了 (5.5.16). O 
关于 不 精确 线性 搜索 ， 我 们 考虑 Wolfe-Powell 准则 《2.5.2) 和 
(2.5.4). 注意 到 de = 一 Brig, 我 们 采用 下 列 形 式 : # 
Fen — By’ gn) S flex) — pak By’ gn. 


— Tn — 
gms — By gk) Bg gr < 097 Bog, 


则 取 ar = 1; Bi. He ax > 0, 使 得 


lr, — an Boge) £ flee) — EB 
Tire- eBe gr) S flex) — porgi Bp ge 15.8.20) 


—- Ty-1 一 
glar- onBE ge) Bp on Sagi By gk 


Ro 这 里 ge) = VAL), 

定理 5.5.5 j f: R" 一 只 满足 假设 条 件 (5.5.0b) 中 的 fa) 
和 bh MH {Bi} ASRS SAPS. UREN roe DAR 
序列 (5.5.14) 产生 的 {zs} 都 在 DPA oe, <a" (Vk BO). VRB 
FFRAE 2”. as 出 不 精确 线性 搜索 Wolfe-Powell 准则 (5.5.19) 
和 (5.5.20) 产生 ， 若 (5.5.15) E2, WS RAR, of = 1l, M 
而 序列 {re} AE ERB e”. 

WEARS A ELA PAI EA, (5.5.19) 成 立 , 从 
而 ax = 1, 余 下 的 结果 直接 从 定理 5.5.2 得 到 . 由 于 Bes, = Okk 
页 出 (5.5.15), 


0= Im = al 
kee | se 
a E 
ke EREN 
所 以 
， of By g — (B; ga) VFB ge) 
=(ge — V FB, g) (Bg tax) 
=o{|| B7 ga ||’). 
即 


gk By ge = (Bi'o) V° fl") (By gr) +o(||Be*gxl|"). 6.5.21) 
由 于 V2 fie") 正定 ， 故 存在 > 0, 使 得 对 于 充分 太 的 用 
RB oe > nB gel 
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.成立 ， 从 而 由 奉 勒 展 式 {1.2.71) 和 (5.5.21) 有 
f(x, — Bg gr) — frr) = ~ 9 By ‘on + 5 (Bi gx)" GE By k) 


1 _ 
=~ 59 Bi ‘gr + ol Bi 1g |” ) 


< —pgk Bri gk (5.5.22) 


其 中 总 位 于 zx Boop — Beton 之 闻 - Meh (1.2.79), 类 似 于 (5.5.17) 
的 证 明 可 得 


g(r — By gx)’ B'or- gf By tan + (Bi gx) V7F(@") (Bg g) 
=o(|| Bp g|"). 


利用 (5.5.21). 有 


g (rk — Br gn) Bran = of! B; ge |") < og Bi gr (8.5.23) 


H (5.5.22) 和 (5.5.23) 可 知 (5.5.19) 成 立 ， 从 而 对 于 充分 大 的 下 
op, = l. o 


5.5.2 ”一 般 拟 牛顿 法 的 线性 收敛 性 


下 而 , 我 们 讨论 一 般 执 牛顿 法 的 局 部 线性 收 伍 性 结果 - 设 选 代 
形式 为 i 
Pepi = £p — Be F (2x), 
Busi E U (ak, Be), 


其 中 U (ay, By) 事 示 非 空 的 校正 集合 ， (zk Br) € domU, dom U 
表示 U 的 定义 域 . 

定理 5.5.6 BF: RA + BR" 满足 (5.5.0a}) 中 的 假设 条 件 
(a), (b), (c), U RREAN, PEMF (ze Br) © domU 和 
Baw E U(re, Be), 有 


(5.5.24) 


. Bx+1 一 Fx) = Br 一 F'(z* Hi 十 去 2 (fær — F “| 
十 人 zz -r HW), (5.5.25a) 
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其 中 y 是 某 个 常数 ， 或 有 


|| Besa — F’(x")|| < [L + arter TH+i)] |B. ~ F’'(2*)| 
+ ago{@e, Tet); (5.5.25b} 


其 中 1,02 是 某 个 常数 ， 


TEk, Tk-1) = max {lz — x2" ||, lzer 一 z* ||}. (5.5.26) 


TÆ EAEE A e H e, aiT [eoa] 
AR (5.5.24) 有 定 六 ， 并 线性 收 襄 到 e”. 

证 明 ”我 们 首先 对 (5.5.25a) BHM PSA BIC. 设 
|F'(e") s 5, 选择 和 6 满足 


< e fl }By—F'(e")|i < 6, 


686 <1, (5.5.27) 
Bye < 26. (5.5.28) 


SUE BA Fa RP ER PE Er S PE Si BE A HE A 


|B, — F'(x")| "<(2-27* 96, (5.5.29) 


i 
er — "|| < zler 一 好 | (5.5.30) 


MT k= 0, (5.5.29) 显然 成 立 ， (5.5.30) 的 证 明 与 下 面 一 般 情 形 
的 证 明 相 同 ， 故 从 略 . 今 假定 对 于 有 = 0,1,---,2—1, (5.5.29) 和 
(5.5.30) 成 立 ， 对 于 大 = 二 由 归纳 法 优 设 和 (5.5.25), 有 


|B: - Fis") || < [B ~ FD] Flle — 2° lle -e*il 


< (2-276 + oY zi ~ 2" jj. (5.5.31) 
从 {5.5.30} 和 zo ~ z*|| < e, 可 得 
[zi 一 a” || < 276-0 eg —gt| gohe, 
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HERRA (5.5.31), 并 利用 (5.5.28), 有 
| Fa < B= 27H NE $y BEM 
g (2-270D 4 2776 = (2-276. 
这 证 明 F (5.5.29). 


为 了 证 明 (5.5.30). 我 们 先 指 出 B 可 道 ， 事实 上 ， 因为 
[E s 2. 利用 (5.5.29) A (5.5.27), 得 


[F ENT [B: — Pe < GE ENB: -e 


< 8—27 i g 28E < L, 


TÆ, H von Neumann 定理 1.2.3 40 B; 可 道 ， 且 


7] #4 —1]) 
|| < AE") | 
1— |F (2*) (B; — F'{r*)} | 
8 33 、 
< > (5.5.32) 
1 a á -m= 
5 . 


因此 Titi 有 定义 ， 又 
Bi (zip ~ 2") 一 ia 一人) 一 下 (2 十 下 (Z”) 
=| F(xi) + F(r*)ṣ4 F'(x*) (x; — 2*)] 


+ [B; — F'(a*)] (ai — 2°), (5.5.33) 
于 是 ， 
eu — 2°] <IBF IU - Ped + Fle") + Pe) (ei — e)l 
+ |B: - Eije- 2" ||]. (5.5.34) 
由 引 理 1.2.12. 


|| ~ Fle) + F(e") + Fe") (2; -all < Zle; —axt|’, (5.5.35) 


. 273 - 


l, lig 3g! hal! 
ires = tis 58) (2—2 A e =a 5.520) 


Tiap 
21 
MH (5.5.30) #1 6.5.28), 有 


， r, 2 
zat] <2 tye < az 


| 
2 1 
代入 【5.5.36)， 


jani =r" I<; sh 2 一 十 2 一 27 | sles ~ 2" | 


to 


za] 


从 而 [5.5.30) 得 证 .于 是 定理 证 毕 . 
类 似 地 ， 对 二 (5.5.25b) BHM REAR, EEA he, 


Fe") | < BB r e (0.1). Bet cl) o e, Bry GED 


(Bays =a) A 5.5.57) 
Bi r}iye + 26) < r. 5.538) 
要 广 明 局 部 线性 收 敏 怀 ， 我 们 仍然 归纳 地 正明 
|B. — Fa 5.5.30 
| 和 2 5.540 


EI. XP A= 0, BEARS. RRT A= OLE 1, he 
4h. 由 (5.5.25b), 


Bri — E (æt) | Br — F(a) s 2eyter® ~ ager’ 
HE e=0 Si-1, HL AWIRA, 
|B: = F'(2*)|| < [Bo - Fe)! + Cor > a). 
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让 用 (5.5.37) 和 Be d eth <4 A 
ÌB,- Fita i! g Ze. (5.5.41) 


ix? (5.5.39). 
为 了 证 明 (5.5.40) ROEE ER H (5.5.41), von Neumaun 定理 
Fi 世人 十 8. 于 是 由 定理 1214, 


|z- a*l <B FG) ~ Fe") 2" {zi ~ 2) 
+ |B - F’(2*)I! |e: a. 
SAU + riire + 28)| [ai — s*il, 


利用 (5.5.38) 立 得 


中 za - all < Tri le — a “Il. 
MW (5.5.40) 得 证 ， 这 完成 了 归纳 法 证 明 - m 


SA, iT MA E F Hesse 6 4b Re TE BY Ja ae E 
ot xe A. 
定理 5.5.7 BPE: Ro R" 满足 5.5.00) 中 很 设 条 忻 (a), 
fb}, (c), 是 校正 函数 ， 恒 得 对 所 有 (ee Ba) dont 和 Hepi E 
Dfzk He), 有 
|| end — Pe) | < [E PY 


+ & (lanes = "l| + lee = a^i), 


(5.5.42a) 
其 中 EMR aA 
Hag - Pa") 4 || SO + aralan cers Ws ~ F’{(e*} +): 
+ ape ( Pe, Caps) (5.3.42b) 
其 中 ana: 是 某 个 常数 ， 
aire, tit) = maz {es = oo lees — el} 
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二 是 存在 正 的 常数 = 和 5, E eoe] << FI |H- Fey |] < 
5, RR 


ar 一 人 一 下 Hei € Ure Hg) (5.5.43) 


有 定义 ， 并 线性 收敛 到 x2*. 
作为 上 面 两 个 定 埋 的 推论 ， 我 们 给 出 一 般 迭 代 的 超 线 性 收敛 
推论 5.5.8 ”假定 定理 5.5.6 的 假设 条 件 成 立 ， 如 果 IB, - 
PN 的 某 个 子 序列 收敛 到 零 ， 则 {zx} ERRARE r. 
证 明 ”我们 和 希望 证 明 


Her E (0,1). 由 定理 5.5.6 知 存在 elr) 和 ól) 使 得 || Bo—F'iz*)|| < 
65(7) 和 ||zo 一 zz < e(r) ARE lang. —2*|| < rle- e*l], Ve > 0. 
而 题 设 ， 我们 可 以 选手 m > 0 使 得 YB, 一 F'ife < sir) 和 
em 一 2 < e(r), 因而 有 lerr 一 x"*| <rlle, —2* i, vk > m, H 
Fre(0,1) 任意 ， 故 结论 得 到 . 口 
类 似 地 ， 我 们 有 
推论 5.5.9 ”假定 定理 5.5.7 MRA Re, WR {lA 一 
Fie)" } 的 某 个 子 序 列 收 全 到 零 ， 则 fe} 赵 线 性 收敛 到 oe. 


5.5.3 Broyden 秩 一 校正 方法 的 局 部 收效 性 
下 面 我 们 给 出 Broyden 秩 一 校正 


tee = TE 一 B; Fize) 
Y-B T (5.5.44 
Bayi = Bet (Wr — Base Besk)3k ) 
Sh Sh 


A ee ee HE Oe az, ERE (如 DFP, BFGS, PSB) 的 超 线 性 收 
SEETI LASS (Dah iE AA. 
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定理 5.5.10 JEP: RY -yy 有 ”满足 15.5.0ay 中 假设 条 件 (a), 
(b), (c), 又 设 存在 正常 数 e,6, E || 20-2" || < e |B- F(x") < 
6, 则 Broyden 秩 一 方法 (5.5.44) 产生 的 序列 {zx} 是 有 定义 的 ， 且 

证 明 ”我 们 先 证 Broyden 秩 一 校 止 (5.5.44) 产生 的 Beyi W 
Æ (5.5.25). 


B 
Besa Pe") = Ba — Pia) + WR Besede 
k 
=B, — F'(x*) - (F'(x*}sg 一 Braja, | (ve — F'(a* sp) a 
. al s} 8] ak 
T ( 一 F'(x*)s Jsf 
=(B, — F'{2")) |z- A + Yk klk 
‘ . 
sho SkSk (5.5.45) 
于 是 ， 
T 
| Basa — F'{z *)| <| B 一 F'(z* 了 一 Zik 
&, Sk 
,yx ~ FC") seh 6.5.46) 
Ilse] 
注意 到 
| -Z| -1 (5.5.47) 
aT aj , 
又 由 定理 L214, 


lye — F(a" sel] < 2 (lanrs ~ | + flee —27||) [sell (5.5.48) 
故 


| Bea, — F’(2")|! 


< [Be Fa) (her = 278 er = 27), 


此 为 (5.5.25). 这 证 明了 Broyden 特 … 方 法 的 线性 收 敏 性 . 
FE, 我 们 利用 定理 5.5.1 证 明 Broyden 秩 一 方法 的 超 线性 愧 
化 性 ， 即 要 证 明 (5.5.2) 成 立 . 
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设 Ex = By - F'(x™). tH (5.5.45), 


sl sk iP 
日 IEL 一 By {a “Jse)s stile 
als, 、 
中 (5.5.49) 
由 于 
2 sps ||? le MEEA 
[|| ssk 
Sk |E Sk 8k |F 
— Ersel? ， E 了 sks} Í 
sr | eee Fa l 
i ! kk a 
ik 
| (1: mall ELS at 
Ep ( T — Ek = (18 lexse ， {5.5.50 
| | 一 ib ‘sel? / (5-5-50) 


注意 到 HEH a > [8] > 0, (a? — 87)? < a — 87/20, HE (5.5.50) 


| I 
I| pa SRS, 

(7 - Sk) 
N 5). 3k 


HE 1.2.14, 


. 1 [Basal \” 
< Erle — - 一 ( | 
F 2||Exlle \ [sail 


lye — E'(ae")8x |p < 2 err —x*| + Je. = et isei, ‘5.5.52) 


Ri, AJH (5.5.51), (5.5.52) 和 (5.5.30), (5.5.49) 可 写成 


i| Ek srl? 3 lle _ zt! 
Wales? | ae 7 | 


jFetille < || Ex|lp 


? , 3 J 
a S 2 alle | ||Eelie 一 Eryl 十 ze —27]//. 5.5.53) 
Heal 4 | 


AK (5.5.29) 和 (5.5.30) 可 知 ， ||Exlle < 26, vk > 0, H 
oS 
. wl 
5 (Tk 一 并 六 2E, 
k=6 


Hk, (5.5.53) 又 这 写成 


46|iBele ~ | Bayalle + 2s ~ 2|]. (5.5.54) 


对 上 式 两 边 求 和 ， 碍 


yo esl < 46 Ile -= Eim lle + Sy Yelle" I 


«, [le 

— sell 

< 5|| En alte =- Zye] 
[ 
| 


sple 2 vel, (5.5.55) 


注意 到 (5.5.55) SA ee 0 都 成 立 ， 故 


| Ersel]? 
sel? 


k=O 


RERI, MME l 
HEr || 


koe [|s| 

此 即 (5.5.2), MATE EH 5.5.1 知 Broyden RAPE A oe 
性 成 立 . i 

Seis, SPF Hesse MLE PBS Broyden 秩 一 校正 


= 0, (5.5.56) 


Tet1 = Zk — HF (ag), 
(a, — Ain ly (5.5.57) 


Hpi = A F 
Vy Yk 
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定理 5.5.11 HF: R° 一 R 满 是 (5.5.00) 中 假设 条 件 
(a), (bh (c), 又 设 在 在 常数 cé, EE jeo- |, < © A Ao 一 
Fert) ilj < & il] Broyden #—A YH (5.5.57) 产生 的 序 如 {r} 是 
APB MH, ARSE PEM Bee a. 


5.5.4 DFP Fish Ra 


下 面 我 们 讨论 秩 二 校正 方法 的 收 钱 性 . 我 们 考虑 DFP 校正 公 
式 . APR Broyden 秩 一 校正 方法 的 研究 ， 我 们 只 要 内 VEC) 
AS Fla), VP Fe) RSP), 就 可 以 进行 类 抽 的 论证 ， 并 得 
到 类 似 的 结果 . 

在 最 优化 方法 中 ， 类 似 于 迁 代 (5.5.1) Fl (5.5.7), Bete ce qe 


为 
Teri = ts — Br ge Bez € U(r By} (5.8.58) 
或 
ep. 一 Ek — ap B Ik: Bre Uap. Brh (5.5.59) 
其 中 a, ALKA F. 
为 了 研究 DFP FEN RM, RAB |B- 
V? f(a") ||. 如 下 而 的 定理 证 明 中 所 指出 的 ， Birt — V2 fier) ee 
T 
HER P = — FRYE 出 于 
Sp Uk 


k 


on 


I|Pll2 = Iselillvad|/sk ve, (5.3.60) 


BY AN || Pllo 是 各 sp ZAREN. — ASG, ye 和 sx 并 不 平行 ,图 

此 Pile 可 能 相当 大 , 这 样 ， 利用 lo 范 数 来 估计 |B- V Fe 
似乎 不 适合 . 但 考虑 到 在 z* 附近 ，f(z) 接近 二 次 函数 , 故 A ty, 
和 AMS, 接近 平行 ， 这 里 4 = VF 2"). 这 和 启东 我 们 利用 加 权 范 
数 来 合适 地 估计 || Bey. 一 ?f(z* 川 . 对 于 DEP 方 凌 ,适当 的 加 权 
范 数 可 采用 . 


[Elloree = 中 可 和 -es = [ATEA]. (5.5.61) 
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下 而 ， 我 们 先 给 册 DEP 方法 的 线性 收敛 性 ， 
定理 5.5.12 Bf: A" > REBRA (5.5.0b) MEE 
vet A 7S Sh RA, 


1 
wyo( ee, Feri} = 3° (5.5.62) 


BP. = [VPET altr een) = max {es ~ 2*|!, [ers — 
wl}. Pit, TE e> 0M 6 > 0, 使 得 对 二 zo 一 2*|| < © 和 和 
l Bo 一 YI < 6, DFP 方法 

Tki =k 一 By VF (ze), 


Bey =B 4 (yr 一 Brar + velyx — Brek) 


2 
(uf sx) 
Yk — Busn)? 5% 
_ ly ~ Bask) Sh ry (5.5.63} 
E Sk) 


AGEL PERE {rn} 线性 收 敦 到 2", 
证 明 ”按照 定理 5.5.6, EAH DFP 方法 的 线 手 收 分 性 ， 内 要 证 
uH . 


lope <[] + CIRA ET zxt1)] || Be = V? f(x")! Sep 


+ age (Ly, Th-1), (5.5.64) 


Basa — V’ f(z") 


其 中 a1, 2 是 与 ae, tkt ALAA IRR, olay, 2441) = max { ze 一 
a*th ifera = aiy- 
设 A = V* f(z"), A DFP 校正 (5.5.63), 得 


h — f roy _ . T 
Buy ~ A= PT (By ~ A)p + We Ate Iva > ye Ase) P 
Yi ok 
(5.5.65) 
其 中 
p 
P=- Č% (5.5.68) 


T 
3, Uk 


- 281: 


注意 到 ||Plle = INsallllyall/shan, K 


||P? (Bi - A)P||prp SIA? PA? ||) Be — Aller 
1 - 
=~ lB 一 A|| DFP, {5.5.67) 
| ve (ur 一 As,)? P 1 |A yg — AM? sali 
i YE St prp “oo | ' (5.5.68) 
| (e Asw)ye || o1 A7 ye -As 
“= | à 
UE Sk IDPP W || A1 28x || {5.5.69} 
其 中 
UL Sk 


SA? gy a sl 
B (AT yy 41728k》 
[An as] 


利用 (5.5.67), (5.5.68) 和 和 (5.5.69) 来 估计 jj Bead 一 本 ||pFP， žr 


(5.5.70) 


1 
||Br+1 — Al|ļoFP sllB: - Allorr 


i 2 [AH ye- AM? sq 
o? [4s (5.5.71) 
X 
一 1 1 - . 
JA ae — As 
Ev S ea] 
_ , lye Asri] 
Ey 
.1 
S pyo er. Tht) < 3 
(5.5.72) 


再 由 引 理 5.5.3 可 得 


了 了 
2 ‘lun — Aspi : - 
es a < rawr. ens). 
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FH, WẸ ry FA £r TE 2* 的 邻 域 内 ， 则 
1a? < tow tenn)? < 5, 


» 1 
a” > 3 > HO (Eps eti) 


页 
一 一 2 ， |? 
w? w pyo(ts, te41} 
= 1 十 HO PE, Let) 
因此 ， 
1 . . 
|B: — Allpre < {1 + wyo(te, sr HBr — Allore, 
j (5.5.73) 
o ATIR — alfa | 
= l? Yk Sk] 
we A Zapi] 一 人 < 2[1 + pyo(@e, Ceti HYO (ees PEt) 
< 站 [了 Pear). (5.5.74) 


将 (5.5.73) 和 (5.5.74) 代入 (5.5.71) 可 得 (5.5.64), 其 中 a, = py, 
Og == Spry. 3 

下 面 研究 DEP WM MBA a eR. 为 此 ,我 们 先 给 出 几 
个 引 理 ， 

引 理 5.5.13 R We R™" AAS RMR, BHF Be 


|| AL ap. -一 M~*s,| € 3] 
WU Set RY SBE E e AB, ee 


Misg (5.5.75) 


(a) 
G= AM s Sof, < G+ 3M sy, {5.5.76} 
(b) 
Mols) (Mts | 
rlr -£ a s) v1l— oflslp, (5.5.77) 
hook Up Sk | E 
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(c) 
| 


|z | 


UE Sk P 
' (5.5.78) 
yolin Mt ja 
<| 1—«@é@? + (1 B) - [Msk] |ie», 
其 中 | 

-I Slat Sp 
[EM "sll {5 5.79) 

= Telem < OU 


证 明 uf se = (My)? (MsR) = (CE 了 -Te M tsp 
|M s] 2 利用 Cauchy-Schwartz 不 等 式 和 (5.5.75), 得 


(Mys = MTs) Msk < AJA tsill”, 


从 而 {a) 得 到 . 
现在 证 明 (b). 利用 81.2 关于 秩 一 校 下 煤 阵 的 Frobenius 范 数 
的 性 质 (1.2.41), 有 


[EQ — uo NE = EE ~ 20° EY Eu + || Eul? ei, 


特别 
[Bb Oe) | 2 
UE Sk E 
n | EM! 
SHEI + (= Esat Jar ts |?) LEM sel 
(Yk Sk 
利用 (a) 和 (5.5.79), 得 
(M0254) (M s) 11? 
EJI aT a | | 
i UE Sk F 
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2 


1- 28) IEM szl] 

1-3 UE Sk 

[Eyer 

ae) 
=E C — 067). 

这 样 (b) 得 证 ， 

最 后 ， 利 用 (b) 来 证 明 (c). 我 们 只 要 证 明 

| M 


T 
Yp Ëk 


<ia- ( 


<IE ~ 


F 
<(i a ( - al) ae 
| 一 :sz (5.5.80) 
| sg sx 一 My,)? | _ |M sa] Mo's, — Myr] 


| UE sk F vi sp 


利用 (a), 便 得 到 (5.5.80). 5 
引 理 5.5.14 i {d} 和 {5} SPAR A, TA 


brit S (1 + EPE +k (5.5.81) 
和 ox 
So be < +00, (5.5.82) 
kal 
则 {on} Weak. 


证 明 ”我 们 首先 证 明 gs LAR. R 


k-] 
ue = [+ 65). 
j=l 
THR. we 21, (5.5.82) 表明 存在 某 个 常数 p, 使 得 gx < jz. HHA 
(5.5.51), 有 | 
Ont fee ES def pe t+ bef pert < bef Hk + Ss, 
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m 
Or 41f Hml cs Pi Hy 十 5 Ëk 
k=l 


利用 (5.5.82) 和 fee} 的 有 界 性 ， 便 知 do) 是 有 界 的 ， 

HT p) 有 界 ， 肯定 人 至少 有 一 个 极限 点 ， 和 假定 存在 子 序列 
{Gat 和 {Gin ts 它们 分 别 政 但 到 极限 点 六 和 o”. BT AER o < 
P", 利用 对 称 性 又 可 证 明 p” <o. Sri oo = 6". 因此 {dr} Hee. 

事实 上 ， 设 由 是 {on} HA KEW kn > kn， 由 (5.5.81). 


有 


x 
Pk, — Pen < A+) >> j, 
j=km 


Hk, 的 选择 ， 有 


ox 
P = bx, SIHO) > &, 
j= Rn 


H Rn BHR, E 
ee" <0. 
ME G < 6". 证 明 完 成 ， 口 
车 了: R* -RR 满足 假设 条 件 (5.5.0b), 则 (5.5.64) RF. it 
[Brk = Allppe = k, max{ayo(rp, tepih 20 (Er, Zapi} = Se, 由 


(5.5.82) Aor, Mog al BE 5.5.14 立 得 
im || Bi 一 Allprr (5.5.83) 


存在 . 
引 理 5.5.15 HEH 5.5.12 的 假设 条 件 成 六 ， 则 存在 正常 数 
91, 30,85, ER Veg. tp EN(2*,e), 有 


[Brei ~ V’ fleire < [y1 — E + B20 (te rr) l| Be 
— Vv flat) + 830(@2,%Re-), 
(5.5.84) 


| 
DEP 
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其 中 
(Er ey.) = max {ex — 2" |], iers — e*l}. 
| V2s(wt) B — V2 Fo)? J sl (5.5.88) 


|B. — VF) hopp |V Ce) skl 


Op 一 


ERR WA = VW" fin"). 由 (5.5.65) 得 


| fun — Ase dys |i 


||Be+1— Allprp <||P7(B, 一 +i | 


| 


A)P||pep yT sp DFP 


yr{ye ~ Asal? Pi 


| . 
YE Sk il DFP 


(5.5.86) 


设 172 T 1/2 
Q=] A kU AT | 
ye Sk (5.5.87) 
Fr = A7M?(B, — AVATM?, 
pili 


IP? (Be 一 A)P | pep = IQT EQ||r. 
类 似 于 定理 5.5.12 的 证 盟 ， 可 知 存在 wa,ad > 0, 有 


| Yk 一 MAS YE i el Av? an — AN?s, || 
| YE Sk lope % [As || 


[ee azr 
HE Sk | 


SAT [Th Tkp h 
4-1/2 Lf 
Aue ~ APP sal 


2a i H | 
pre “Y ILAT 2s | 


KALT (Ek, Ekt) 
Bid 8 = as + ag, 则 (5.5.86) 可 写成 


[Beri — Allprp < |Q EQN + Bao{riy rir). (5.5.88) 


[AT yk 一 AM? s, || 
[48/7 se | 


1 
S eye (ee. Teri) S = 
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政 利 用 中 理 5.5.13, 得 


Aon — Asa | 
|| A2/? 58 | 


iQ" BQllr < + (1 8) Wea 


{E IQT Eilr = |ETQ]lr = 1EQI KAUN SLE 5.5.13, 得 


. | ATIB _ Als 23 Ji 
， agp? 2 || Yk kl] 
Balle < [yt ~ aap + 0-2) reac “eel jae 


其 中 o, 由 (5.5.85) 定义 ， 于 是 ， 
5 -12 — Al/2 | 
IRTE] e < [v 一 062 十 50 一 a Elle 


< [1-083 + boler zari)|Ele, (5.5.89) 


其 中 By = o, Bo = (1 — A) uy. 将 (55.89) 代入 (5.5.58) 即 得 结 
果 (5.5.84). o 
-利用 上 面 三 个 引 理 ， 我 们 给 由 DFP 方法 的 超 线 性 收 伍 定理 . 
定理 5.5.16 ” 设 定 理 5.5.12 的 假设 条 件 成 立 ， 则 (5.5.83) E 
SO) DFP Arik B28 PEW. 
证 明 ”因为 (1 - 8,82) 


1 <1- (81/2)83, ke (5.5.84) 可 以 写 


成 


(310% /2}|[B. — Allprp lBs — Allper — |B} ~ Allper 
+[62|Be — Allpere + Pa]o (Zh, te); 


对 两 边 求 和 ， 得 


i, ~ 
zA do IB: — Allpep <|| Bi — Aller + 82 X` o (ze, 24 41)||Be 
k=ł k=1 
— Allore + 33 Y (ze, Tk+1)- 
k=1 
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fH don} SPEC. it S roan, te.) < oc, MA (Pk 
k=] 


4ilorF A% BUE 


(81/2) SOR Bs — Aliprr < oo. 
大 一 1 
出 (5.5.83) Al lim Bx — Allpep TE BA (8. — Allpre} 的 基 
个 子 序列 收敛 到 O, URES FPP ae SSE MA h 


Be = Alel g 


lim 
koe ss 
iM BIE. 否则 , A iB. -Alore 2 wv > 0, Vk 2 kp WA 6, — 0. 
由 于 
Be — Asell — AM? Il] AB — A)ssl| 
Il sx:.| > A12} Al? se || 


， A*2(B, _ As% ， 
= ||Al {| Bs — Allprr _ AT’ - f 


= |A| | Br — AlDFe Ëk, 


故 {rn} AER. E 

完全 类 似 于 对 Hesse 近似 形式 Bk 的 DFP 方法 的 研究 ， 我 们 
可 以 建立 对 Hesse 道 近 似 形 式 Hi 的 BFGS Wiki ei atk E 
理 . Bid H, 形式 的 BFGS 公式 (5.1.41) 为 


EE4 =O, ~ Age, 
(sk 一 Heys, + snlse — Haye)? 


Hyi =A, 
+ SE Yk 
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， I., 
(sk Haye) Uk psl, (5.5.90) 


(sf 4%) 
并 对 BFGS 方法 采用 如 小 加 权 范 数 
|Elisras = Ellar = |A PEA" |F, (5.5.91) 


其 中 4 = V7 f(a"). 
定理 5.5.17 P:R 一 号 满足 假设 条 件 (5.5.0b), 又 设 在 
z* 的 一 个 邻 域内 , 


BYT Tp Teti) < 了 (5.5.92) 
其 中 u = ||[Vile*) atk Ek) = max { |z% -- 2" ET — 
z*|}. 于 是 ， 存 在 <>0 和 #5 > 0, 使 得 对 于 [£a 一 2 <e 和 


上 Eo - Vz) grcs < 6; BFGS 方法 (5.5.90) 有 定义 ， 产 生 的 
{rn} REM. WHS jer 2 |] < too, 那么 序列 {zn} 种 线性 


k=O 
eee Bll z*， 
对 于 采用 精确 线性 搜索 和 不 精确 线性 搜索 的 DFP 方法 种 BFGS 
方法 ， 利 用 定理 5.5.4 5.5.5, 我 们 有 如 下 定理 : 
定理 5.5.18 Hf: Rk" + REER 5.5.12 {定理 5517 
ARIE, MARAT ar 由 于 


(By — ! 
Em Ka asl =0, (5.5.93) 
一 isk] 
1 ~ 
H 一 Av! al 
( im NCH lal Jys =0) (5.5.94) 
=m HEES 


RARE. of HE | 的 任 疝 线性 搜索 确定 ， 著 出 tri = 
te aB ge 定义 的 DFP 方法 (H teyr = zp — on Ange EMM 
BFGS 方法 ) 产生 的 序列 {ri} WA 


> jl zz ~ z* || < +00, (5.5.95) 
k=0 
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则 {ca} BAER RR r. 
进一步 ， Byrd, Nocedal 和 Yuan (1987) 证 明了 Broyden eA 
法 的 超 线性 收敛 性 , 我 们 仅 烈 出 定理 , 对 证 明 感 兴趣 的 读者 可 参考 
原文 献 - 
“定理 5.5.19 SR RAR D Loe OT 
f(z} — 3, BEE me > D, 使 得 对 任何 re R” AI ue R”, 


uP V? fru > mlll”, 
又 存在 2* HAR Niet eh 使 得 
V7 F(z) 一 VF)! g yE Ye 二 Erzrci 


成 立 、 则 对 于 任何 正定 矩阵 Bo 当 线 性 搜索 满足 Wolfe-Powell 准 
MY (5.5.19) 和 (5.5.20) BY. AT (5.2.5) Æ 0 AY 0 © (0,1) 的 Broyden 
族 算法 ( 即 不 包括 DFP 算法 ) 所 产生 的 极 小 化 序列 {2.} 区 线性 收 
REY a”, 

Rah, T7 

定理 5.5.20 REM 5.5.19 的 很 设 条 性 成 立 ， 当 采用 精确 线 
性 搜索 准则 时 ， Broyden BEAR (5.2.5) 所 产生 的 序列 fr, } 超 线 
TEM ME) så. 
«BG, Byrd, Liu 和 Nocedal (1990) #5 Raze PET SL IK HOE EE 
(5.5.15) eT TSR EE, BRS BRR PE E- 

定理 5.5.21 HERRAR 


一 1 
Th-1 = Fh — Ok B; fk 


产生 的 点 列 收 化 于 a” V F(a") = 0, Ve) EE, M 
It 


£ -r 
lim les =") =0 (5.5.95) 
koe |: Tk 一 x*| 
或 立 的 充分 必要 条 件 是 
Jim cos? (By gr -VIF Ton) =1 (5.5.97) 


37 Base 


li =1, 5.5.98 
a ase Yk ( ) 


x 


jim cos? (Br gn. tk — T") = 1, (5.6.99) 


jim, cos? (x, — ar", -V f(a") on) = 1, (5.5.100) 


we (5.5.97) nese. MM (5.5.96) 和 V? f(a") 正定 还 可 知 ， 


于 是 ， 


AA mi PIAR 


lim gr + yll -o 
k—cc igal 


1 


SE gk + si Yk _ 
kao |i 8x [I ge| 


了 


lim — =], (5.5.101) 


这 样 ， (5.5.98) 成 立 . 
现 假 定 (5.5.97) 和 (5.5.98) 成 立 ， 由 【5.5.97) 和 (5.5.100) ay ay 


(5.5.99) Bear, M (5.5.98) 可 知 {5.5.101) 成 立 ， 于 是 


SE Gk + SE V7 Sf (2") 8% 


lim = 0, 
ko SE Yk 
所 以 ， 
Ty2 * 2 *y—1 
_ SEVI f(a") [se + Vi F(a") gel 
1 -- +=. 5.5. 
dm EHEER 0 (3 5.102) 
HH (5.5.102) 和 (5.5.97) 可 知 
ler =- vf eyo l 
tim ls 2") al og (5.5.103) 
k-o [Skil | 
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ARSE ir (5.5.96). 所 以 定理 成 立 . 


85.6 ha tA Beda aE 


在 85.1 RASA TUS MARG KAI. BAT K 
Be, EHRRERRNAE TS, 氢 牛 顿 法 具有 PRAM. 
在 本 节 , 我 们 介绍 对 于 一 般 非 线性 函数 拟 牛 频 落 的 总 体 收 敏 性 质 ， 
这 些 性 质 是 Powell 分 别 在 1971 年 和 1976 年 给 出 的 . 对 于 精确 线 
性 搜索 ， 他 证 明了 当 了 是 一 致 目的 二 阶 连续 可 微 旺 数 时 ，DFBP 方 
72 RUC. 对 于 不 精确 线 福 搜索 的 Wolfe-Powell 准则 , AHER T 
当 fio hres ates, E f(z) 下 有 界 时 ，BFGS 方法 总 
kika Byrd, Nocedal 和 Yuan (1985) 进一步 将 Powell 的 结果 
推广 到 不 包括 DFP 方法 的 Broyden Be. IEH TOF At Chet 
HY FL PRB, KAH Wolfe-Powell 不 精确 线性 搜索 准则 的 Broyden 族 
方法 都 是 总 体 收 敏 的 .本 节 将 介绍 这 些 工作 


5.6.1 精确 线性 搜索 条 件 下 的 总 体 收效 性 


我 们 首先 讨论 精确 线性 搜索 条 件 上 十 拟 牛 顿 法 的 总 体 收 侣 性 . 

在 本 节 讨 论 中 ， 我 们 总 是 假定 : 

fa) fi E > REA OR D PoP; 

(b) f(z) —BOh, MFE m, M > 0, 使 得 对 于 re Lic) = {a | 
fla) < f(xo)}, 


mul < uP V7 feje < Mijul[?, Vu e R”. (5.6.1) 


引 理 5.6.1 if f: R" -请 满足 假设 条 件 (a), (b), 则 


lssi es skye sete lyel 
lyel sell sel2? gell? sF yu 


都 是 有 界 的 . 
证 明 ”由 Cauchy-Schwarz FEER, sf ue < |lseilllyell, RER H- 
HER sse 和 jarl? sx 是 有 限 的 即 可 . 
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H g(x) = Viz) G(x) = V7 F(a), 由 于 


d 
g oik + TSk)| = G(r, + 73x) Se; 


1 
Yk = f Glaze + TSK }8 RET. (5.6.2) 
0 
于 是 ， 
1 
yall <f IGEk + rsosnller 
0 
f! 
= sell j Giek + rsa ide 
0 
< |lsxl mae, |G(zet+ Tse) fl 
TERRIER { | fe) < f(z0)} ARAM, Cle) A, ik 
3 = max liei») 

有 限 ， 因 此 ， 

live!] < Alsel BM yrl lss! < 2 (5.6.3) 

下 面 再 求 lakie siy 的 界 . 出 
T [sp gl£} + Tsgk)] 一 si Gay + 75K) 8K, 
得 1 
f si Glg 十 村 8 )6,dT = Si Yk. 
ü 


科 用 假设 条 件 (b). 得 


5 a 1 
T 2 : aa 
skye 2 mlse’. BE jisi? / sky < —. a (5 6.4) 


ay 


引 理 5.6.2 在 精确 线性 搜索 条 件 下 ， OS [sci]? AD vel? 
FEA a A. 
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HEAR HE Er) = Pent — 786), 由 假设 条 件 (5.6.1), vir) 之 
milse 上 ,而 精确 线性 搜索 意味 着 10) = 0, 故 得 


1 
wT) > HO) + zmllsz]|? r’. 


Kr=18 


malsx|l?, 


flee) = Flares) > 5 


MEAD RT RR, H 


So lisell? < 2{F(@0) — Fla*}}/m, 
k=0 


其 中 f(z*) 是 fle) RE. FÆ Y lj Hee. 
利用 引 理 5.6.1, 又 可 得 Ely? iat. 口 
引 理 5.6.3 ”对 所 有 向 量 x, 不 等 式 


lalh? > m[F(e) Fa) (5.6.5) 


成 立 ， 其 中 f(a} 是 fla) 的 极 小 值 . 
证 明 ”项 为 函数 


uri = ET 二 TIz — 2}) 
EDEM, Ke 
Fle + T(r —2}) > fla) +(e" — z)" gle). 


特别 Or =i, 有 


fix) fle) < iz — x)" gle) 
< 


igliz" — zl (5.6.6) 
HEL 5.6.1 和 和 Qauchy-Schwarzs WH F, 
le" = al? < (a = 2)? (g) = g(a) /fm 


- 205 . 


= jr’ — lllae”) 


WE 
< llos") 
将 (5.6.7) 代入 (5.6.6) 便 得 (5.6.5). 
定理 5.6.4 
满足 假设 条 件 
生 的 点 列 {zr} WSN Bes AL a”. 


‘Jat = a! 


— a) fm = 


没 f(z) 在 水 平 集 Le = 
(a), O), 则 在 精确 线性 搜索 的 条 件 下 ， 


— gajim, 


(5.6.7) 


lg(z) || /m. 


m 


= {x | f ir) < Tira] } 上 


DFP 方法 六 


证 明 考虑 六 十 Hesse 首 近 做 形式 的 DFP 公式 


Heynry 


T 
ic Hk 


T 
, Sp) 


yaa = Ay 


MAF Hesse HAMUERA DFP 公式 


IT- PRS, 


FRY 


(5.6.8) 


© gt" 
Sp Uke 


PEN 


tone (Daf 


TE 


Si Yk 


T 
TA) 


. 5.6.9 
sT yr (5.6.9) 


显然 ， Bee itteyy =]. 对 上 式 两 边 求 迹 ， 有 


2 


Si Baw 


; Bsr) (yk va) 


Tr (By..3) =Tr (By) 
; sh Yk 


4 ae 
si yk 
上 式 右 端 的 中 间 两 项 可 


si Bayi 


以 写成 
(sf Buse) (yp 


q bse 
(sT yx)” 


(5.6.10) 


ve) 


2 
52 Yk (eT yn)? 


29) Yk 


( — of se) (ug ys) 


ME 


Sh Uk 


(sku) 


297 yk + VE Yk 


=a, - 


ST Yk 
—ige—1h? — 


Il gae/|* 


96 Lege 
. 206 - 


(5.6.11) 


AF giyse = 0, Wy 


Vi Tete ian 


RE 全 | 
本 
=g} [7 一 Hitt g 
UR Haye 
_ {9% ge) (Gp 41 kget) 
Ge Binge + Gp ARG 


Fa Hry Jkl = 


上 
x 
+ 
m 

—| 

É 

a 
| 
hji 
机 
“= 


= of [i 


ERS. H 
1 1 1 
T R a re + ~ 了 : 
IprirHk+igsi Ik -Hegret: gi Hrga 


(5.6.12) 


利用 (5.6.11) 和 (5.6.12), 可 将 (5.6.10) 写成 


: 2 , 19 

Tr (Bear) =Tr (By) + lent _ligell 

dipi Hh 1 9k+! of Agus 
igri” jj 
| . 5.6.13 
Ge Anges sf yk l ) 
由 递 推 关系 可 得 
， 2 42 
Tr (8541) =Tr (By) + 7 I|gx+1 ilgol| 


Fee er Dk I 26 Hite 
k 

lgl? l 
2 a Hg ele il ， 
foo 4+1 01 0 53 (5.6.14) 


因此 ， 根 据 引 悍 5.6.1, FA zo AK, HS kK M. 1E 


2 ke 1 i? 
Tr (Bri) < Ile || gs L Ak 56 ` 

k z T = T ki “6.15 
Sig Tes rGk+1 o G41 Higi+1 ( ; 


成 六， 
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剩 下 的 部 分 我 们 将 要 还 其: 人 MARET (5.8.15) 
hg a. AA Go! Aye j= OZ 中 
KG Be a PE. 
为 了 证 明 序 列 {oF Higa :了 0,1,2,…} HEARSE Ee 
PRATAP RE Hi W H (5.6.8), 


H 


Lee Isai 5.6.18) 
Tr (Het) = Tr (Ho) (5.0.16) 
Sgi nS a 
因为 Hrn EE MERA HIE. AR 5.6.1 AR, fF 
E5 RAR M, IB KEL 
ay lt 
Sl Msl ap (5.6.17) 
y ayy Yj l 
R ERE 
(uf EY < Hyw es. (5618) 
x 
y Hjyj = giy Higi — g “Hig 十 29 和 1 


T 
= gjy igj gi Pr, 
> gjar Hjygit1: (5.6 19) 


bhi (5.6.17), (5.6.18) 和 (5.6.16) $2 


a aed k 
» 9901 -o Y; Hyj ~, IH; y 
TA we ee. e iv E r > 
Ili? 7 > Hyl? > vin, < 6.20) 
yoo j=0 eth jen 4 i 


利用 Cauchy-Schwarz A&E, 47 


à | 9 - f is [gj] 7 2 Í at iti i; Gi | 
Dp /> ra 
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sweet) eh 


车 序列 {on} PRAF P(e) 的 唯一 极 小 点 天 则 必 在 在 46 > 0. 
使 得 对 于 一 切 A 
ilgel: > 6. (5.6.22) 


LEER 22.9 知 存 在 常数 > 0, 使 得 
flax) — flera) > zall. 


从 上 面 不等式 即 知 sel — 0, BOA ly 4 0. 于 是 从 (5.6.21) 和 
{5,6.22) £ 


k | p 
bD -p > Mk 
720 Gj... 447 F741 


对 充分 大 的 天 都 成 立 ， 内 上 式 和 15.6.15) 可 得 


EEE 国光 


Tr (Beil < 
Gi. 十 1 Ee 


(5.6.233 
EE RE BUSS AP OK TR ee REE, a Pa RE EF 
i HH(5.6.23) BT. Hepi CORA EA ge Age ge all, 
{Hil} Rayleigh 商 的 性 质 定 理 1.2.5 BPA, ik Hea 的 最 小 特 
征 值 的 上 界 ， 这样 ，{5.6.23)] EPa REN. AAF Ei T [rj 
WW SP ec". MGT AR Fe BB ARE Oi 


5.6.2 “不 精确 线性 搜索 条 件 下 的 总 体 收 兽性 


HE, 我 们 研 实 不 精确 线性 搜索 条 件 下 : Ge id, 1] fE; Broyden 
族 校正 (5.2.5) 的 总 体 收 化 性 . 
Hie Broyden W FEH F: 


, : wl 
Beg. = fet Sh = Th t+ Seth = Ce - tre BE Ük. 
(5.6.24) 
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ke ， 
WOKE ET BRI te | ER 


ee sT Byes | SE Yk (5.6.25) 


T 1/2) Yk Br Sk 
Wk = {s Br sx) a. OF . 
Spuk Si Bese 


并 假定 9 SO < 1， 为 证 上 明 总 体 收 全 性 定理 ， 先 给 出 以 下 几 个 引 


51 5.6.5 ig a, SE Wolfe-Powell 4M (2.5.2) 和 (2.5.4) 
HIS A, Hl RUSK AP (a), (b) 成 立时 ， 有 
cillgel cos és < |}se|| < collgrll cos £r (5.6.26) 
和 
fara — fe & —perm cos? £pl fi — F(x"), (5.6.27) 


BHP, c = (1—0)/M, cs = 2(1— p)/m, & 是 一 gi 与 s RAS, 
即 
~g; sx = ||9n!l|l9x|| cos éz. (5.6.28) 
证 明 ”出 (5.6.2) 和 假设 条 件 fb), 有 


m|lsell? < yi sk $ se. (5.6.29) 


HY Wolfe-Powell 准则 (2.5.4), 


Uk Sk = Ghp1Sk — Ge Sk > (1 —o) ge se, (5.6.30) 
.于 是 
sal? > se > — gs, 
= gnll sell eos £r, (5.6.31) 
BUG} (5.6.26) 的 左边 不 等 式 
Ilse lf > cillgn!| cos £x, (5.6.32) 


- 300 - 


Jk- o fx S OM, Sk = —aligeliilssll cos Ép 


:= — per liga l|? cos” £r. 


出 于 f ERP RE RR, te 
fe = fle’) < gi (te — 2") < ligellllee — "i 


定义 
G= | G [zx + T {xr* — 2x))dr, f 
0 


则 gs = G (ar — x"), 利用 假设 条 件 (b), 有 


milan — a*l]? < (ee — 0°) gt, 


从 而 


上 ee 一 | < Žali; 
将 上 式 代 入 (5.6.29), 得 
lign i” 2 ml fe F) 
将 (5.6.35) 代入 (5.6.33), 得 
frrr — fr & pem cos? Ex fe — f(x"), 


JERI (5.6.27). 
最 后 证 (5.6.26) FHADA. 由 Taylor 展 式 ， 


1 + 
fro fk = TE Sk 十 5a C(wedsn: 


其 中 Wk Az, 与 rea ZIM SS. 2.5.2) Mb, Í 


1 
T Ta a LT,) 
PG, Sk Z OK Sk + 35k Gla lz, 


(5.6.33) 


(5.6.34) 


(5.6.35) 


(5.6.36) 


利用 假 贡 条件 (a), (b). 有 


ae i 1 
(1 — plilgrliilsrl cos r 2 zsab 


ATE 
| sil < colige ! cos £r, 
其 中 cg = Ul- eim. 口 


引 理 5.6.6 i a, 是 满足 Wolle-Powell 准则 (2.5.2) 和 (2.5.4) 
SAS, US RR (a), {bj 成 立时 ， 有 


81 Br Sk, si By sp 
| TS Rh ty =~ 
sx [i 


oe (5.6.38) 


HERA ”利用 sk = on By ge, (5.6.20) 和 (8.6.2), 有 
fl 一 ast Buss = —-(l—o)axsi gr 
Z Aksi Yk 
on T [ * G 4 1 
= kS tes, 4 TS )AT| Sk, 
EG J 


下 
si Brsp 
thy > (1 — Fo a E 


i z ` 
st Gus 


Gh = f Gian + Tap dr. (5.6.40) 
ü 
又 由 (5.6.37), 
Lr T Bes 
58 Glue) 8s & 一 性 —p)gi Sk = {1 一 p) kako 
Ort 


T 
ai Bast 


az = 2(1 一 Tuyen 
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i (5.6.39) 和 (5.6.41) “AL 
引 理 5.6.7 oat 
ERJ (2.5.2) i (2.5.4) JHE. a Kae “BQ AMG ve : 


= 

EG 
wo 
ao 


j ya f T 

lyri siy SM., 

P 7 ty 

si Bash Si Yk 一 一 一 。 

k Sk Yk S Io 
Ci 

2 fs k 

| Basel? s] Buse 2 一 一 一， 

Cy cosé ER 

oe, At 


T PaP 
yi Bise| /Sr Yk SC -— f 
Ue Brsi|/ RY um cosi, 


iE z = Gi sn Het G, H (5.6.40) 定义 ， 则 


T, al (22 Tr. 
Yr Yk 3p OESR zi Gikk - 

TT = S M, 
Sy Me sf TG usp Zi Žk 


HEER (5.6.42), AA (5.6.30), 得 


SR Bee, p- SE Bksp . _ ak 
T soy Py F ， 
sty, {o gis) l~e 


LEEI (5.8.43), HH (5.6.26), 得 


LBesxl? algal? 
8, Bpis olse| ilge cosx 
_ _“rllgsil 
Sp | cos £x 
2 1r 
cy cos? Ég 
HEED ( WR. TEBE 


Uk = kil — Ge = Gasp, 


4) (5.6.30) vi Ë 


ys ese — eal yellilgel te Mf | gr il 


37 Uk = 5 ™ my {ge || cos Ex 


i: ka WR fi Cy. BRAG (5.6.38). 
(a), 成立， a, H Wollfe-] sawed] 


[J 
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JERI (5.6.45). 口 
引 理 5.6.8 


设 假 设 条 件 (a), (bp) 成立， as 由 Wolfe-Powell 


准则 (2.5.2) 和 (2.5.4) 确定 ， 又 设 Broyden 族 校正 的 参数 9 € [0,1], 
划 存 在 一 常数 cs > 0, 使 得 对 所 有 k> 0, 不 等 式 


k 
Tf o; > f (5.6.47) 
i 二 
成 立 
证 明 对 (5.6.25) 求 这 
Tr (Bett) = Tr(By) — peel + le gia, 
5, Esk Sp Uk 
其 中 
Ware |]? a! [ hi2 
lw |? = (sk By 8x) ll T Yk Bas | Besli -L 
(sT yx) (sf Ve} (sf Bsn) (sf By sy) J 
于 是 ， 有 
Te (Beci) =Te (B) + IS | glont? |e Bese 
Sk Yk SE Yk si Yk 
-(1-6 lBxsall? op Ya Bask 
TR ~ T ， 
SE kik Ep Yk 
由 引 理 5.6.7, 
Tr (By41) Tr (By) +M+emM—* (1 OF 
] 一 eq cos? Ey 
ey Ad 
+ 2 -一 一. 
mney cosy (5.6.48) 
注意 到 
、 Gi Sk jsk| sf Bese 
cos EE = = _ 64 
[IC 和 (5.6.49) 
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i 


再 利用 (5.6.38), 有 


Oh | Be sel 


5.6.50 
cos&e Tull 56.50) 
注意 到 (5.6.48) 布 记 第 四 项 恒 为 负 ， 且 cos tx <1, M 
， 1 1. 2 y HECHA 
Tr (Be+1) =< Tr (By) + M+ (; a mei) DN eo ileal - 
又 
Basel iski < Bel € Tr (Be), 
KA 
. 2 
Tr (Br41) = Me hı 十 € 一 一 =~) (Me, | Tr (B1), 
故 存 在 常数 ca > 0, 使 得 
Tr (Bayi) < cf. (5.6.51) 


对 (5.6.25) 应 用 (1.2.40), 有 


det (By41) 2 det (Bs) Tan ive 


k Biss (5.6.52) 
2 det (B,) a 
反复 应 用 上 式 ， 有 
k 
det (Bn) > det (Bo) [I : (5.6.53) 


jo “i 


注 BUSHES REET URI DT PEA RR SR, 故 由 算术 平 
均 与 几何 平均 不 等 式 ， 有 


det (Bis) < oak (5.6.54) 
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于 是 由 


lao det(Brr) 1 | 

jo % det ve) ™ det í Bo) 
~~. {c? (5.6.55 
< ETET. yn (3 J (5.6.55) 


可 知 ， 存 在 常数 cs > 0, WIA & > O, 


结论 得 证 . 口 . 

下面， 我 们 给 出 不 精确 线性 搜索 的 总 体 收 伍 性 定理 . 

定理 5.6.9 Ke 和 Bo 为 任意 给 定 的 初始 点 和 初始 正定 矩 
阵 ， 又 设 f(x) 在 水 平 集 L(x) = {x | f(z) < f(xo)} 上 满足 假设 
条 件 (a), (b), 在 不 精确 线性 搜索 的 Wolfe-Powell 准则 (2.5.2) 和 
(2.5.4) F. 8 {0,1) 的 Broyden 族 方 法 (5.6.24) # (5.6.25) 产生 
的 大 代 点 列 收 化 到 最 优 解 r+. 

证 明 ”将 (5.6.48) 写成 


Tr (Bari) S Tr (Bk) + Mt mpeg, (5.6.56) | 


其 中 
OM 1-0 — 2M 


T 7 Ta 
l-o cacos? ép me, cas ép 


Nk = (5.6.57) 


EE cos Ek + Q, Tel] BB (5.6.57), fik > — 20. 故 存 在 下 标 Ra, 使 
Sk eko 时 ， ne < 一 2M jes. 于 是 ， 
k 
D < Tr (Be41) < Tr (Bro) + M{(k +1- ko) + 37 yay 
J=ko 


2M 
< Tr (Be) + M(k+ 1 - ko) — “i aş. (5.6.58) 
j=Ko 


+ 
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对 (5.6.46) 应 用 算术 与 几何 不 等 式 ， 有 


k 
Soj 2 kea. 
j=0 
因此 
k ko—1 
5 Qi > keg 一 5 Œj. 
i= io j=0 
将 上 式 代 入 (5.6.58), 得 
ky—1 
2M 2M X 
O< Tr(Br} +M(k +1 ky) 一 一 keg 十 一 一 Cys 
C4 eq * 
y=) 
因此 ， 
. aM eo 
0 < Tr(8,,) + W(1— k) — Mko + — Qj, 
C4 
3=0 


对 充分 大 的 ER AREA, RF. 
因此 ， 在 在 子 序列 cosé,, By > O. 由 (5.6.27) 可 知 ， 


fey ~ Fla") < (1 — pom cos? Ex) (fi 一 (让 )， 
于 是 ， 由 {fire} 的 单调 性 ， 有 
Frisi T HT) S facta — F(@") < es (fee — Fe"), 


其 中 cs = 1— pmen? < 1, $ fa, > f(a"), Mid fe > Fle"). 由 于 
T ERGA HRA zz 一 ar". 0 


85.7 ” 自 调 比 变 尺度 方法 


5.7.1 自 调 比 变 尺 度 方法 的 动机 


前 面 我 们 介绍 过 ， DFP 方法 是 典型 的 秩 二 拟 牛 顿 方 法 ， 但 数 
值 试验 表明 DFP 方法 执行 较 差 . 原因 何在 昵 ? 下 面 我 们 进行 一 些 
分 析 . 
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首先 ， 我 们 指出 ， 撒 建 下 降 法 的 单 步 收 但 速度 定 再 3.1.4 对 于 
各 种 牛顿 型 方法 成立 . BE, WHE 


f(a) = st T Ge +b? x, (5.7.1) 


SUH G Ben xn 对称 正定 矩阵 ， 并 设 千 顿 型 算法 由 


Pept = Lk — OA egy - (5.7.2) 
wes. HO 
gk = Gay — b, {5.7.3} 
ar = gh Ange / gh HiGHige, (5.7.4) 
W FEER. 


定理 STI 设 z* 是 二 次 函数 (5.7.1) 的 极 小 点 ， 牛 顿 型 算 
法 由 (8.7.2) 定义 ， 那 么 ， 单 步 收 伍 速度 满足 下 面 的 界 : 


Fens) ~ fla") Ca 一 Ma 


Fe 二 FE ~ FAL)?’ (5.7.5) 
一 入 2 
E(@p.a) S x T w Ele), ‘5.7.6) 


KP, Elar) = (ee-e) Glee we"), Ar 和 入 SAER HG 
的 最 大 和 最 小 特征 值 . 
证 明 ”由 于 
T= a, - GG lon (5.7.7) 
和 
fle) — F(x) = zal EGT ge, (5.7.8) 
又 ， 在 精确 线性 搜索 条 件 下 ， az 由 (5.7.4) 表示 ， 


i 
f(zk+1) = = f(%~) — ZORI PH GH gs, 
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ite 
1 - i 
Fieri) — Fe") = 5098G gk — Sakge HeG Hige 


从 而 有 
Fees) — fe) L CERTI 
fre) ~ flr*) (of Glar) (of HG Hege) 
= 1 一 | 1 Coos L FEE Ej 
(of (H°) G-H, ?2x) (oF AEG(HEY za) 


(5.7.9) 


其 中 ， a= Hi gn. 利用 Kantorovich 定理 3.1.8, 即 得 结论 (5.7.5). 
see BH 


Eley) — Elves) — CENI 
Ezp) 【zz (2PT, zx) 7 


其 中 Tp = R GH”. 利用 Kantorovich 定理 3.1.8, 并 注意 到 


AiG FHT, HEL RAIS 5.7.6). 口 
从 这 个 定理 可 以 看 出 ， 为 了 保证 每 一 步 有 好 的 下 但 速度 , 应 该 
A ~ An? a (x(t) -1 2 
(G=) 或 SP (5.7.10) 


尽 可 能 小 ， 其 中 (Th) = AM/An (5.7.10 通常 称 为 单 步 收 化 速度 . 
Pui, BRS Te 的 条 件数 A(T) 很 大 ， 则 单 步 收敛 速 庆 将 是 兰 的 ， 
为 了 改善 算法 的 单 步 收 仇 速度 ， 我 们 应 该 便条 件数 e(Te) 尽 可 能 
eh, 

另外 , 我 们 观察 一 下 DFP 方法 . 不 难 发 现 ，HoG 的 特征 值 都 
大 于 1, 而 DFP 方法 以及 其 他 Broyden 族 方法 在 本 质 上 是 每 次 先 
代 把 一 个 特征 值 变 成 1, 次 此 ， 在 氨 代 过 程 中 HG) 产生 了 不 理 
想 的 特征 比 ， 注 意 到 ALG 与 Hi, ARMA RADE {T} 
的 特征 比 是 不 理想 的 . 
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事实 上 ， 若 设 
Ry = GHGY?, re = Gl sy, (5.7.11) 


显然 ， BS HG 相似， 因而 也 与 7 A AH yr = G re, 于 
是 DFP 公式 (5.1.9) 等 价 于 


Ryrery Re ， Pere 


=F - ， T.12) 
Riti k rT Rare + ory (5 
BER, RIEME Al Arboe B An > 0, HE 
R TR 
P= Ry — Z Ek ik (5.7.18) 


re Rers ' 


O P 的 特征 值 为 u > pr B+ P n 显然 Pry = 0, 于 是 有 


At 2 uy ž A 2 Ha z -o B An 之 Ha =Ù. (3.7.14) 
Hy (5.7.12), 
T 
TET 
Repi = P+ Se, (5.7.15) 
Th Tk 


而 Regite = re 由 于 是 三 的 特征 向 量 ， 又 由 于 PWR. 
P 的 所 有 其 他 特征 向 量 都 直 交 于 re AT A Regi 5 P 唯一 不 
同 的 特征 值 是 对 应 于 re 的 特征 值 ， 它 是 1. 这 表明 了 DFP 方法 得 
次 选 代 把 一 个 特征 值 变 成 1. 注意 到 Re 相似 于 HG, Ak, eR 
HG 的 特征 值 都 大 于 1, 则 AG 的 特征 比 将 恶化 . 

但 是 ， 如 果 1 E [Aj 那么 ， 由 上 面 的 讨论 可 知 ， Re 的 
特征 值 二; ga, Hn- 和 1 都 包含 在 [An A), 从 而 在 这 种 情况 下 
DFP 校正 将 不 会 使 ALG 的 特征 比 严 化 这 个 结论 对 于 0&6 去 1 
的 Broyden WES EEB. 

定理 5.7.2 i HG 的 几 个 特征 值 为 Ai, AnA 满足 
A, BAe eo: BAL > 0, 假定 1 € [nj MA, 对 任何 ¢, 
O<¢< LAL GC BRIERE E [AnA] h Rb 五 8 ， 是 由 
(5.2.1b) 定义 的 Broyden 族 校 下 . 
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证 明 4=0 的 情形 前 面 已 经 证 明 - 
现在 考虑 站 二 1 时 的 BFGS 公式 ， 注意 到 关于 Hesse 近似 的 
BFGS 公式 (5.1.40a), . 


T 一 工 Trr-i 
-1 —1 , MEME H, se 8%, H, 
Heii= He + 4 = 


8) Yk 35TH; se 
SOT 
Ro! TRI 。 T 
Ryi, = Rp  — ARE y ER (5.7.16) 


Tp-l T ' 
Tk Ry Th ri Tk 


R 的 特征 值 为 1/ 和 1 < 1/2 £0 S An, BR, LE [1A 1/An] 
由 前 而 的 讨论 可 知 ， 著 Ryl 的 特征 值 为 1/m < l/m 所 
lun CTRA E B/A Anl, BHE, 1/4, $ 1/1, L/An 2 1/ pa, 
BP rn 2 Anm 1 S Aa. RER Ren 的 特征 全 都 包含 在 An Ai] P- 
Mist 6 =1, 结论 成 立 ， 

容易 看 出 ， Broyden 族 校正 (5.2.1b) 等 价 于 


Reret? R rere 
Re = Rk- wo 十 ZE Fouru, 5,7.17a 
etl ri Fir rer, k . ( ) 


其 中 


的 1/2] Tk Rrr 
Uk 一 Gy, = (ri Rare) , 


TET ~ rt Rare 
对 于 (5.7.17) EM RE, RE, 的 特征 值 随 着 由 单调 增加 ， 由 于 
对 于 # = 和 名 = 1 它们 的 特征 值 都 包含 在 [AnA] 中 ， 故 对 于 
ONO <1, 多 们 的 特征 值 也 都 包含 在 An Mj 中 ， 注 意 到 RA 与 
ARG 相似 ， 从 而 结论 得 到 . I 

从 上 面 的 讨论 可 知 ， DFP 方法 和 一 些 Broyden 族 方法 执行 
差 的 一 个 原 央 是 特征 比 不 理想 . 如 果 我 们 调 比 矩阵 Hi, 使 得 HG 
的 特征 值 分 布 在 1 的 上 下 ,那么 Ry, 的 特征 值 结构 将 得 到 改善 . i 
然 ， 对 于 二 次 冰 数 ,在 精确 线性 搜索 的 条 件 下 ， 只 需 调 比 初始 矩阵 
Ho. 但 是 ， 一 般 来 说 ， 调 比 每 一 个 Hr 还 是 有 用 的 . 


(5.7.17b) 


-~ dll >- 


5.7.2 自 调 比 变 尺 度 方 法 


我 们 用 调 比 因子 ye $L Hy, 然后 在 通常 的 Broyden 族 
校正 公式 (5.2.1b) 中 用 Br RE AL, 得 到 


l Heyrye Ay T EE 
NN 2E, 
E+ un Haye vk si Yk (5.7.18) 


vp, = (uf Haye)? [sp/ sk Yn — Hiye /yd Havel 


Et. o 是 Broyden RBM, y PAWS. (5.7.18) RHA 
调 比 变 尺 度 校正 公式 (SSVM). 4% = 1 时 ， ERE Broycen 族 校 
EAR 
”算法 5.7.3 (SSVM 算法 ) 
”给 出 初始 正定 矩阵 Ho, 初始 点 so k = 0. 
#1 S dh = 一 Hox; 
步 2 作 精 确 一 维 搜索 , 求 步 长 因子 aa Hay = tit akde 
计算 + & Ye = k41 一 gy; 
步 3 选择 Broyden KSA o > 0 和 自 调 比 参数 w > 0, 出 
(5.7.18) 计算 Aes; 
步 4 kim k+1, Bop 1. o 
类 做 于 55.1 中 对 DFP 方法 的 讨论 ， 可 以 证 明 上 述 SSVM Jy 
法 具有 如 下 性 质 ， 其 证 明 略 去 . 
定理 5.7.4 ( 自 调 比 变 尺 度 方 法 的 性 质 ) 
1. 如果 Hr 正定 ， of ye > 0, WAY o > 0, ye > 0 时 由 (5.7.18) 
产生 的 Hepi 正定 ; 
2. 如果 f(z) 是 二 次 函数 ， Hesse 矩阵 为 G, M SSVM 方法 产 
EAIM BE so,sl，……,sn 是 G- SEH AS, 即 满 足 


s Ga; =0, i493 j=0l ,nl (5.7.19) 


且 对 于 每 一 个 k, $0,951.77. 8k 是 AeaiiG 的 特征 向 量 ， 即 满足 


on 


Hy 41 Ga; = ¥en Sis 0 dick, { -7.201 
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k 
= I] V5. Yu = 


jai. 

由 上 面 的 性 质 定理 可 知 ， 虽 然 SSYVM 方法 在 二 次 函数 情形 不 

保持 性 质 Ha = G7, BERRA AMES Fo 
Reg PE on CBR AS A. 


5.7.3 ” 调 比 因子 的 选择 


现在 的 问题 是 如 何 选 择 适 当 的 调 比 因 了 . 设 ALG 的 特征 值 为 
A Poo 2 BAL >O, BR, 它们 也 是 A, OR. ROB 
用 选择 的 调 比 因子 乘 以 H 以 后 ， 改 善 特 征 结构 ， 使 1 包含 在 新 
的 特征 值 区 间 中 ， 和 使 得 影响 单 步 收敛 速度 的 条 件 得 到 改善 即 要 求 
K (RE 1) < (Ra). 下 面 的 定理 是 定理 5.7.2 的 推论 . 

定理 5.7.5 td € [0,1]. > 0, Re Phar 分 别 由 {5.7.11) 
和 和 (5.7.22) EX. he Ry, 的 特征 值 为 为 > Ae oo B An, BEL, 的 
特征 值 为 好 pS > --- > ut, BA, 

(1) 如 果 we 21, M pf = 1, B 1 < Yn < uf < weds, 
t=1,2,---,n—-1. 

(2) 如 果 yeAr <1, M we = 1, H yki < we S wàr <1, 
$= 2,3,---,n 

(3) 如 果 和 an SES AI, io 是 一 个 指标 , 使 得 yA SIL < 
YkAins 则 


year > uP > vedo 2 uS Be BA, Z Hio BLD Hing 
= 2 Ykåiti 2 = ‘2 VkAns (5.7.21) 
且 两 个 特征 值 中 和 oh 中 至 少 有 一 个 等 于 1 


证 明 ”这 个 定理 是 定理 5.7.2 的 直接 推论 ， 由 于 自 调 比 变 尺 
度 方 法 等 价 于 


Ryryrt R T 
Rý = (R - T Her E4 TE + AE, (5.7.22) 
Tk 
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其 中 re 和 ue SHIR (5.7.11) 和 (5.7.17) €X. LERTE 

(5.7.17) 中 用 vee 代替 Re 得 到 . 因此 ， 由 定理 5.7.2, 用 yeàs 

YkAn 代替 An 我 们 就 得 到 所 需要 的 结论 . 口 
推论 5.7.6 de [0,1],% =1, M 


lug — 1] < [Ax 1 (5.7.23) 
证 明 ”由 定理 5.7.5, 对 于 Ys = 1, 我 们 至 少 有 下 面 的 一 种 情 
况 成 立 ， 
(a) Ar uP >I, 
(b) As Sw? <1. 
由 此 立 得 结论 (5.7.23). o 
ER WERTE ye 使 得 


An & SA (5.7.24) 


便 有 
NkAn = 1 g RAL, (5.7.25) 


BF 1 a LOS OAR. 此外， 我 们 还 有 


推论 5.7.7 ioe [0.1], > 0, xo) 表示 条 件数 ， 如 果 
dn S l/r S à, 则 对 于 5.7.22), 有 


K(RE 1) < (Ra). (5.7.26) 


证 明 ”由 定理 57.5 中 的 (3), 有 


eds > ul 21> we > eda, (5.7.27) 
从 而 得 到 F 
Hl < Ai 
as i 及 
Hn FL 
BO (5.7.26). 口 
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ALAM 和 的 条 件 时 ， 我 们 一 直 限 制 Broyden WER 中 
e [0,1]. SSL, PMT ve MRE RRR. PRBS 
的 ， 也 是 必要 的 . 

定理 5.7.8 4AM ge [0,1] 时 ， 


是 (Rip) SARO A Any 正定 的 充分 条 件 . 

证 明 ”充分 性 在 推论 (5.77 中 已 经 给 出 . 必要 性 将 通过 举 出 
反例 来 证 明 . 

BE e s<- ezit: AAI AH oce « 1, Hf 
这 两 种 情况 ， 我 们 指出 满足 (5.7.28) 的 y 会 引起 He 不 定 或 者 
(5.7.26) AS AR. 

考虑 例子 


对 于 这 种 情形 ， 可 得 
A1 一 1 十 2 一 由， AS, 


其 中 
m = LG + 2e) — (1 + 4) 


先 设 m=1. WF EÀ 阶 的 正 数 ， 故 有 
geol<l+2e— 7, 


这 表明 y 满足 (5.7.28). 这 样 ， 由 (5.7.22) 得 


Hosek LEAB Ri 或 者 奇异 ， 或 者 有 负 特 征 值 . 
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FE yy = LAm, 它 显 然 满足 (5.7.28). 这 时 由 (5.7.22) 得 


$ _— 
Reyi = 


4ypeltelt, RNA 
1 十 


[e + elm °] 


2 i+ 26 — 3 
< 十 7} 


«(FR 1) 2 7 


这 表明 这 时 (5.7.26) 不 成 立 . 


了 = «(R,). 


口 


(5.7.25) 和 (5.7.26) 告诉 我 们 ， An < 1/ye <M 是 选择 调 比 因 
Fon 的 一 个 合适 要 求 .注意 到 


也 是 一 个 合适 的 调 比 因子 .六 
一 sg 从 而 这 时 有 


ore Rate 3 
ri rp ST yk 
和 
T 
ry Rer 
An EF An 
Th fk 
可 知 r 
Sk Yk f 
vi H kyk ` ) 
是 一 个 合适 的 户 比 因子 . 类 位 地 ， 由 于 
PER, re _ SEH, Se 
rere SE yp 
- 和 i ri Roy 1 
Sg bk E a 
和 rer, a 
故 TH} T T 
“= Skk Sk Re Gk Sk Gk (3.7.30) 
Sh Uk stun gt ayn 


FE 意 到 当 cz 是 最 优 步 长 因子 时 , sly, = 


Yk = Op. (5.7.31) 


这 表明 世 可 直接 选取 一 个 精确 线性 搜索 的 步 长 因子 为 调 比 因子 . 
由 于 对 在 何 w € 0, 1), 


sT Yk st He sp 
yt Aye sT Yk 
È (5.7.29) 和 (5.7.30) 的 凸 组 合 ， 故 (5.7.32) 给 出 一 个 合适 的 调 比 


因子 四 类 对手 这 个 调 比 因 子 凸 类 ， Oren (1974) 给 出 了 一 个 选择 
FA o W w 的 开关 准则: 


y= lw) (5.7.32) 


如 果 SEYA 1 选择， 一 1 0 
一 一 1 ywoil wo, 
Ue Aye 


(BP e= 1, +. = ef yr /yl Beye) 


3 Sk 
Al p =0, yp = “oe 
(Hl p $ st yp ) 
T TH-! 
如 果 RMR gis hoe gg 
uk Taye 5% Yk 
T T T 
skye yE Have — Sk Yk 
w=gp=— Gi Ey) z (BB ?kx = 1). 


sT Hi sp yt Hey — (syn) 


另 一 个 选择 调 比 因子 的 方法 是 Shanno 和 Phua (1978) 提出 的 
初始 调 比 方法 .开始 时 令 Ho = 大 确定 z1, 步 长 因子 ao 由 某 种 步 
长 准则 确定 ， 以 保证 目标 函数 充分 下 降 . 一 旦 zl 确定 了 ， 在 计算 
Hi Zaj FB 


Hy = aoto (5.7.33) 


WEE Ho, 然后 由 Ao 计算 Ay. 这 里 ao 是 步 长 因子 ， 也 可 由 下 式 
确定 : 


84 yo 
ya Hoye 
‘taba AES SSVM 方法 的 区 别 在 于 SSVM Doe fe BRE 
都 进行 调 比 ， 而 初始 亩 比方 法 仅仅 在 第 一 次 迭代 调 比 Ho 以 后 各 


og = Yg = (5.7.34) 
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CRE ARSE AR BEAT A. 数值 结果 表明 : 对 于 曲率 变化 比较 尝 稳 的 问 
题 ， 初 始 调 比 方法 既 简 单 且 相当 育 效 . 
还 有 一 个 特 跌 的 自 调 出 BFGS 公式 


Boo = BR Yk ( Brskst Z) + Veyi 
t sT By si of By SE sl yi 
它 有 广泛 的 实用 意义 . 


5.7.4 最 优 条 件 自 调 比 校正 


选择 调 比 因子 的 另 一 个 策略 是 极 小 化 自 调 比 变 尺度 校正 {H} 

的 条 件数 , 因为 从 数值 观点 来 看 , 小 的 条 件数 将 改善 算法 的 数值 多 

定性 ， 我 们 把 这 样 得 到 的 自 调 比 校正 称 为 最 优 条 件 自 调 纪 校正. 
Si 


o=siy,, T =y Hay £= si Hy Sk, (5.7.35) 


将 自 调 比 变 尺度 校正 (5.7.18) 改写 为 


o T 
Hea = ye, + —_e SKS, + we- 1) 


~ THE 


Hy yi i He 


shuh He + Hryksi ), (5.7.36) 


HABER OC e <li ojt Sry < ec. 

下 面 ， 我 们 首先 推导 条 件数 H) HS, RRL 
界 ， 从 而 得 到 最 佳 调 比 参数 y 和 Broyden KBR p. 

定理 5.7.9 设 自 调 比 变 尺 度 校 正 由 (5.7.36) 定义 ， 如 果 H, 
和 Hi 正定 ， 则 不 等 式 


max [p+ (p? 一 u), ya] 


n(Hk+1) < ay) min [p — (p? — wy? Ya] 


(5.7.37) 


成 立 ， 其 中 
ps (64 pr)/20, (5.7.37) 
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w= yle? + pler — o7)}]/2e, (5.7,37b) 


进一步 ,如 时 五 二 了 或 者 如 果 Heyr = sp W (5.7.37) 成 为 等 式 . 
证 明 od (5.7.36), Va € R”, 有 


oA, je =a Aye - NK, pF), ~ (5.7.38) 
其 中 
2 2 
7 ater (ska) yelp — 1) (2 Heys) 
Nee) =i + oa a te Pa 
yep {27 sn) (27 Aye) 
9 FE 
= TAs (5.7.39) 
定义 
max N {yp 49, 2) 
Pilypo) = —=____—__. .7. 
(ye?) min Ne, a) (5.7.40) 
于 是 ， 由 于 He, Hei 正定 ， 
6 (Hest) = | Hr Bee | 
max [(a? Het) -N (ye, p£) jaa] 
7 max {aT Hp) N (Yr, y, x) {27 2| 
max (x Hyx/a" 2) 
£ ->r oe PT, 
min (2? Hyx/x* 2) (p) 
= K(x) (Yr p) (5.7.41) 
下 面 需要 求 fy p) 为 简化 运算 ， 引 进 以 下 符号 : 
L= Hi’?, {5.7.42a) 
z= Lrf (27 Hys)”, (5.7.42b) 
w= Eo'sp, (5.7.42) 
t= Lyp, (5.7.42) 
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于 是 
o=wt rae? e= lel, [ell =1. (5.7.43) 


将 (5.7.43) 代入 (5.7.39), 得 


Tob FRET ely i 
Nye, $, zx) =y + — a ( wro? 十 tele De zy? 
— 2 UT 2) (wT 2) 
io 
E MK, pz) (5.7.44) 


Bimi pax Miye 2) 


es Me, Py = z) 


HH, ATR Henel 必须 计算 Min, pa) 的 极 大 值 和 极 小 
fA. Mive, pz) EER |e = 1 上 的 极 秆 的 必要 条 件 是 


Py, P= 


(5.7.45) 


ViM( ye, 9, 2) + 2nz = 0 (5.7.46a) 
27z 一 1 (5.7.46b) 


其 中 省 是 Lagrange FEF. M (5.7.44) 计算 出 Vestiyer 并 代 
入 (5.7.46a), 得 


+ er 


{wT 2)w + 


- TE ( 


vel ~ 二) r WP, T 
Tajt (wT zt 
7 (E z) z Y } 


t zw + nz =0 (5.7.47) 


将 上 式 分 别 与 we 和 z 构造 内 积 ， 并 利用 (5.7.46b) 消去 27 2, 得 
到 下 面 wz, tz 和 分 为 未 知 量 的 三 个 方程 : 


fo 十 yepT)e 


(wT z) + | 1) ype (Tz) 


g? Te T g 
(w? 2) — y(t? z) + nt 2)} = 0, (5.7.49) 
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SEIT as ala i 
TOEF (utz)? — nle dat 22 
T 
2 (el 7 2) + = 0. (5.7.50) 
人 
将 (5.7.50) 代入 (5.7.44), 得 
Mik 2.2) = Yk "h (5.7.51) 


对 于 一 个 极 从 点 20, 对 应 的 Lagrange RT mo, 由 上 式 可 知 相应 的 
BLE 


Me, P 0) = Ye — Ho- (5.7.52) 
这 样 , 为 了 求 Mive, p, 2) HERA. RAA ERT n RAR RE (5.7.48) 


— (5.7.50). #4 tz = 0, 则 由 (5.7.49) 有 wz = 0, 因而 二 0. & 
tTz 关 0, 令 


a= w z/t z, (5.7.53) 
于 是 由 (5.7.49) 有 
N= 了 a, (5.7.54} 
因此 ， 我 们 有 


Mvp, yy zo) = Fk — Yo 
= [7 当 m= 0 时， 
ao to = @ BY. (5.7.55) 


对 (5.7.48) 两 边 同 除 以 22, 并 利用 (5.7.53) 和 (5.7.54), 得 


aolre — a? 2 
a? GE 十 yR p(T a?) t yot 


z? 
yu tmeler= o) o, (5.7.56) 
TT 
利用 【5.7.37a) 和 (5.7.37b), 上 式 可 简化 为 
a? — 2pa + u = Ù, (5.7.57) 


其 解 为 
a= ptp — pn)!2. (5.7.58) 


EBS un SOW, &P-vp some, M a >ot, | Cauchy- 
Schwarz 不 等 式 sr -0° BO, 有 


eaux |: vere 
- 2a 


Z É =)" | ns 7 


2 0, 


Bai ep? — > 0 Retr. PR, (5.7.58) 给 出 的 两 个 解 是 实 的 . 将 
它们 代入 (5.7.54) 中 ， 便 得 到 洲 足 必要 条 件 (5.7.48)- 一 (5.7.50) AI 7 
的 两 个 实 值 . 

由 Weierstrass H, M(t ypz) EER lell = 1 上 必定 有 
极 小 值 和 极 天 值 ， 由 于 He 种 Any. EE WEFR |z| = 1 上 
Miye gpz) > 0. 因此， 由 (5.7.52), (5.7.54) 和 (5.7.58) 得 到 p > 0, 
ve > 0, Alii 


max M(yz,9.2) = max [p+ (p? — a), ye], 
ilel= (5.7.59) 
1/2 1 


min M (Yk: 2) = min [e — (p? — ») Tki 


II (5.7.60) 


从 而 (5.7.37) BM (5.7.41), (5.7.45), (3.7.59) 和 (5.7.60) 得 到 . 
“4A, =I, (5.7.41) 显然 是 等 式 , 因而 (5.7.37) 也 是 等 式 ， 
当 Ay, = sk 时 RTA T= es o, Aly, = 1. 岂 人 (5.7.378) 
和 (5.7.37b), w= 1,9 = 1. 于 是 由 (5.7.37) 有 KC Agi) < wi Ag), 
但 由 (5.7.36), Heoi = Ay, WA 6 Hei) = sle). 口 
推论 5.7.10 it Hr EE., Hapi 由 (5.7.36) EM. SA 
M4y> 0,0 >0 ff pler- o’) > -az 时 ， Hpo FE. 
HEAR ”根据 (5.7.38), Hip EAR MN rer) > 0, Ve, 
或 等 价 地 ， Miye 9,2) > 0, Vz, zl = 1. H (5.7.60), 4A (R24 
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ye >Oe>O0RMe> om, Morg) > 0 WER EE, 
Me> Orr Op > 0 FESHI o> Om, pow 于 是 
oler — a?) > —o? RRA. cq 

推论 5.7.11 iA, TES. Ana 由 (5.7.36) EX. Bo > 0, 
ye > OM pe > 0, M) Anyi 正定 . 

HERR ”利用 人 anchy-Schwarz 不 等 式 sr-:o2 人 0 和 推论 5.7.10 
即 ay. C 

定理 5.7.12 #2 Hk KÆ. Aaa 出 (5.7.36) SEM. WIE 
ye > 0, of < Ja < Eo, 


那么 ， 不 等 式 
KC Hes) & KH ME + (6? — 1/7)? (5.7.61) 


RI RP E= p/u’, p #0 ys 5) Sew (5.7.37a) 和 {5.7.37b) 定义 . 
进一步 ， 著 A, = 了 或 Heyx = sy, 则 不 等 式 (5.7.61) 变 成 等 式 . 
证 明 由 于 下 正定 ， 故 了 > 0, 因而 和 > o/7 > 0. 由 推论 
5.7.10 Mu > 和 Hep 正定， 于是， SEE 5.7.9 成 立 . 
由 Cauchy-Schwarz 不 等 式 ， sr 一 o? >o, 因此 利用 ‘5.7.37a) 
和 (5.7.37b), 有 i 


2_ a2 _ lfetpr |fe- pry? ET 12 
pt {0 — n) 31-5 4 ( 5 ) + 她 =l 


> An |] 
2 T a 
Z Thee (5.7.62) 


E 


2 
a 


p= (P — u)? =p- {P — (20p — 2) fr}? 


=p—{(p~ 0/2)? + (er — 0?) /r?})? 


+ d23 - 


将 (5.7.62) 和 (5.7.63) 应 用 于 定理 5.7.9, (5.7.37) 简化 为 


十 — 1/2 
(Haga) < n E E (5.7.64) 
上 式 右 边 的 分 母 有 理化 ， 并 利用 便 得 (5.7.61). (5.7.61) PEA 


成 立 的 条 件 直接 从 定理 5.7.9 得 到 . 口 

现在 ， 我 们 想 通 过 选择 yt M y ERR ER 6A, 1) 的 
ER- 

EA 5.7.13 BA, IER. siye > 0 如 果 y My 使 得 
Heri 正定 和 (5.7.37) 的 右边 极 小 化 ， 则 (5.7.36) 定义 的 校正 称 为 
最 忧 条 件 校 正 . 

定理 5.7.14 HEHE 5.7.12 MRAM. ARR 


ET = ø? (5.7.65) 


或 


p =ole—wo)/yler —o7) 2G (5.7.66) 


RY, (5.7.36) EN RREI Ain 为 最 优 条 件 校正 . 进一步 ， AY Hea 
是 最 优 条 件 校正 ， 那 么 


TD) & rH + (Ww? ~ 2772, (5.7.67) 
其 中 
w= ferja?) (5.7.68) 


HEAR 根据 (5.7.61), Hepi 是 最 优 条 件 校正 ， 当 且 仅 当 pM 
ve RAMEE Biyel 其 中 


Pye, sp) = [E+ (EF — 11/797. (5.7.69) 
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WE op = Haye, Me =r =o, AWA Sly.) = 1. 于是， 对 
E x 和 y, (5.7.60) 成 立 . 
如 果 s, 关 Heys. ME Cauchy-Schwarz 不 等 式 ， g? cer. 对 
于 任何 给 出 的 Yas 4 
dë dë di du _ 


ip 7 af an ag 7 (5.7.70) 
时 ， Siye y) AHEM. H (5.7.69), 
$= 22. (1+ E/E? —1)/7) > 0. (5.7.71) 
又 由 【5.7.37b)， 3 
is = +, (eT — a?) /ro > 0. (5.7.72) 
另外 ， 由 于 
f=(e+ur)/2ep'?, (5.7.73) 
anas de =(rp—e)/ape”. (5.7.74) 
dys 


注意 到 关于 Ye p 和 og 的 假设 意味 着 p> 0. Al, H (5.7.71), 
(5.7.72. 和 (5.7.74) 代入 {5.7.70}, 得 到 


HH= E/T, {5.7.75) 


将 (5.7.75) 代入 (8.7.37b) 便 得 到 (5.7.66). 由 Sly p) 关于 p H 
二 阶 导 数 可 知 (5.7.66) 给 出 的 w 是 Bie p) 的 一 个 极 小 点 : 
此 和 外， 将 = 二 sf/T, (5.7.73) 和 (5.7.68) 代入 {5.7.69), 得 


Diye, B) = [w+ (w? 1)121? 
= min (YE, p). (5.7.76) 
atk 
于 是 ， 由 (5.7.61) 、 (5.7.69) 和 (6.7.76) (E48 (6.7.67). O 
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推论 5.7.15 ”定理 5.7.14 PE MMWR RES OWE: 


SPSE HF T/T sn SET 
g=0 对 于 yk = Efe, 
p=1 对 于 Yk = a / 7. 
证 明 ”结论 直接 从 (5.7.66) 和 Cauchy-Schwarz 不 等 式 得 到 . 


O 
将 (5.7.66) 给 出 的 最 优 参 数 S 代入 自 调 比 校正 公式 (5.7.36) 
可 得 如 下 最 优 条 忻 自 调 比 {OCSS) 校正 会 式 的 一 - 般 形 式 


3 1 IET ~ pTO ~ a Ela — YRT] 
HY , =~y.H, > 一 4 SS — meee 
FE a k T 


— g? 
Heyy, He — (e — veo) [gry He + Hryrsg] } 
(5.7.77) 

其 中 ， qr E loft, e/a}. 


按照 定理 5.7.14 和 (5.7.77), 前 面 给 出 的 开关 准则 以 及 下 面 给 
出 的 参数 也 是 最 优 条 件 参 数 . 


准则 1: 
E 
如 果 sl HE re = 7, v= 0: 
如 果 21, HH y= 5, y=] 
如 果 =<1< F, 选择 n=l ¢ 9 (5.7.78) 
准则 2 


- EY”, gai/ fi (7 (5.7.79) 


业 似 于 上 面 最 优 条 件 校正 的 钼 理 ， Davidon (1975) 考虑 了 Broy- 
den 族 校正 ， 极 小 化 AL Ay 的 条 件数 ， 得 到 了 Broyden RBH 
ip HRAS 


| cleo) 40 < Berfletr} 


ET 一 GIF2 


a rT 


4 o > Qerfle tr). 


ToT 
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5.7.5 FES HELE 


在 自 调 比 变 尺度 算法 的 基础 上 ，Spedicato (1976) 引进 了 更 一 
般 的 调 比 一 一 非 线 性 调 比 ， 使 得 算法 对 目标 旺 数 的 医 二 次 性 态 有 
更 好 的 适应 ， 

定义 5.7.16 如果 


Z=Zf(x)), dZ/df>o0, HF rr, (5.7.80) 


UR RR Z Æ Of 的 非 线 性 i 正则) 调 比 - 
从 上 述 定 义 可 知 ， 这 样 的 非 线性 调 比 使 得 了 和 了 有 相同 的 等 
AR Z 的 驻 点 数 不 多 于 OURAN, FAR oO 是 上 的 极 小 点 ， 
则 z* 也 是 2 的 极 小 点 . 
EX 5.7.17 如 果 从 初始 点 zo WEER Ho 开始 ， 对 于 
f 和 的 非 线性 调 比 函数 Z, 方法 产生 的 极 小 化 序列 {zn} 和 {Ek} 
相同 ， 则 称 方 法 具有 调 比 不 变性 . 
定义 5.7.18 如果 步 长 因子 o 由 精确 线性 搜索 过 程 产生 ， 加 
迭代 称 为 完全 的 ; 如 果 方 法 有 一 定 的 准则 处 理 非 单 峰 情形 ， 则 方法 
称 为 安全 的 . 
HE {rah {on}, (yeh {Hr} 是 极 小 化 f 得 到 药 序 列 ， 义 设 {Erh 
{Ge}. {Ge}, {Ha} 是 极 小 化 Z 得 到 的 序列 ， 我 们 有 
定理 5.7.19 采用 完全 和 安全 和 达 代 的 Broyden KREMER 
度 方法 具有 有 非 线 性 调 比 不 变性 的 充分 条 件 是 
yk 二 办 二 Gh+1 Gk l 
(dZ/df)e+1 (dZ/df)k 


证 明 ”假定 在 开始 时 有 xo = fo Mo = Ho 由 归纳 法 ， 假 定 


(5.7.81) 


Ti = Fj, H; = H;, =0,1,..-.,k, 
于 是 ， 由 调 比 函数 2 = Zf) 有 


Gk = Ge/(dZ/df Je- 
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由 十 述 代 是 完全 和 安全 的 ， 故 


Tk+1 = k+l: 


AA 
— ， kai aa Gk 一 Gr- 
Uk GRAS IRS (ez id per (aZ/dfye 
于 是 ， 
Hepi = Hpi Hi Tht hy YE) 
= Hri (Ae, Fer — Ee, be) = Bess, 
从 而 定理 得 证 . a 


按照 上 述 定理 , 对 方法 作 相 应 修改 , 使 其 具有 非 线性 调 比 不 变 
性， 则 立即 得 到 

推论 ,5.7,20 “如果 采 用 完全 和 安全 和 碗 代 的 Broyden RERE 
FREA PR AR eo Bef, 那么 ， 相 应 的 修改 方法 在 有 限 步 
TARR A TE f Hf ft — JER AE Val LE g gr. 

WEA EEE Vl IE a Ra be i i BRE 


Z=pf, (p> (5.7.82) 


TH, dZjdf =p. Ħ yr = (gri —ged/p 代入 Broyden HA I4 


. a+ yr 
Hri =H + = 


- -l 
sksk 十 ——— HkyrYk He 


g? 


— Z (syk He + Hryrsl ), (5.7.83) 


得 到 


po + PT 


Aga, =A + a RSE + r 


一 1] 
了 Hiyeyp Hy 
ye opt 
~ = (seyr He + Heyesk), (5.7.84) 
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它 等 价 于 Huang HREAN HWE 
Heri(gkt1 一 gk) = Psk- (5.7.85) 

如 果 (5.7.84) HOHH vy = 1p A, MS (5.7.36) 形式 的 自 调 比 
一 般 地 , 我们 可 以 将 (5.7.36) 形式 的 双人 参数 自 调 比 校正 推广 为 

如 下 三 参数 校正 公式 : 


T+ YET -~ “plp — ij 
Her =e + TE sas) + HOTU m yy He 


TRE T T = ` 
一 SD Seok Hy, + Heynsy}, (5.7 86a) 


其 中 


Yk = Jeti — Prik- (5.7.86b) 


三 个 参数 为 p, Te, te. 其 中 p 是 Broyden 族 参数 ， y 是 线性 调 比 
参数 ， wi 称 为 非 线性 调 比 参 数 ， 当 调 比 不 变性 满 中 时， 从 和 de 
之 间 的 关系 为 

1 dazrdmsn 
o dZ/afna? O Zde 


aE. SPR. Ye = 1, 这 时 三 参数 校正 (5.7.86) 成 为 双 
参数 自 调 比 校正 (5.7.36), ye 由 SSVM 中 参数 选择 方法 确定 . 一般 
地 ， ye 给 出 了 调 比 的 线性 部 分 ， 而 WW 给 出 了 线性 调 比 参数 的 变 
E, Rb, 


Yk (5.7.87) 


Wk = EALE, (5.7.88) 
859k 
或 
T 
a a 
二 lim k9 Skri (5.7.89) 


其 中 ， wey: = Ek + Sk = Eh -- apdr, © 是 线段 [Ze tky] 上 满足 
T £ resi M gde #0 的 任 一 点 ， Zk+ = T — dy, @ = wa, 
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O<w <1. Spedicato (1976) 指出 ， 若 用 55,2, RRS ve = 1 f 
对 应 的 ole, 7, 则 新 参数 Wx 的 - -个 最 优选 择 方案 为 


EFTN!? E 2o? 
uy, = max (E) 、- | (5.7.90) 
(Pa 


2 z 


一 日 wx 利用 上 式 确定 , 我 们 就 可 以 由 (5.7.86b) 确定 yr 并 利用 Y 
和 的 选择 方法 {例如 (5.7.78) 计算 和 oe, 从 面 根据 (5.7.86a) 
Be ABE Hp. 


86.8 RB AR 


Schubert (1970) 首先 把 氢 牛 顿 校 正 推 广 到 不 对 称 稀 玖 矩阵 上 ， 
提出 了 解 非 线性 方程 组 的 稀 朴 所 牛顿 法 . Powell !1976)，Toint 
(1977), Shanno (1980) 先后 推导 了 稀 朴 拟 牛 顿 校 正 公 式 ， Steihang 
(1984) 纵 出 了 一 个 采用 和 预 处 理 策略 的 稀疏 氢 午 顿 法 ， 并 给 出 了 收 

稀 朴 拟 牛 正法 要 求 产生 稀 玖 拟 牛 顿 校 让， 它 满足 拟 牛 顿 条 件 


局 ks+1sk = Yks (5.8.1) 
FPR PRE EATI RTE OR—T RIM B, 
B=B+E, {5.8.2) 
E WE 
Es =y — Bs, (5.8.3) 
E= ET, (5.8.4) 
Ey =9, (Gj) eT, (5.8.5) 


其 中 工 是 一 个 整数 对 集 台 ， 它 推出 了 稀 琉 性 要 求 ， 即 当 gl eT 
时 ， By =0. 又 设 B~ PRET I RRR, EH I HH 
集 ， 且 设 对 角 元 不 受 稀疏 性 条 件 约束 ， 邯 (iE) EJ, Yi ME 


r=y- Bs. (5.8.6) 
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显然 ， 关 系 式 (5.8.3) 一 (5.8.5) 并 不 完全 确定 修改 矩阵 E ATH 
EL 我 们 要 求 B 按照 某 种 范 数 足 可 能 靠近 B.， 因 此， 我 们 采用 
Frobenius 范 数 ， 考 虑 如 下 极 小 化 问题 : 


mins ||E|l; (5.8.7a) 
st.Be = + (5.8.7b) 
E= E" (5.8.70) 
By=0, AEL (5.8.7d) 


在 本 节 剩 下 的 部 分 ， 我们 用 s; Rome s 的 第 了 Pam, MA 
量 s(t) 的 分 量 为 


s(i); = { 3i» (ij) a (5.8.8) 
则 条 件 (5.8.7b) 成 为 
了 os 人 =p i=l, o,r (5.8.9) 
j=1 
取 
B= sata’), (5.8.10) 


其 中 4 不 一 定 满足 对 称 性 . PRET (58.7) 成 为 : KEPE A, 4 
得 


1 
min z ||4 +AT ||, | (5.8.11a) 


TL 
s.t. Ay; + Ayjalal; = 2ra t= 1,--- nn. 
D(A + Andes = 2ra á , 
j=l (5,8.11b)} 


这 里 注意 到 ， 条 件 (5.8.7d) TULEM. AA (5.8.1la) 使 得 所 有 不 
明显 出 现在 约 东 中 的 元 素 变 成 零 . 
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对 于 上 述 极 小 化 问题 (5.8.41), 其 Lagrange BAY 


, leases 
(A,A) = = (AZ, + A?, + 2A; Age) 
i=1 7=1 
-5A [Dihs + Aji)s(i)3 — rij, 
i=l j=l (5.8.12) 
SHIRE, 
OG(A,A) _1 | 
( zui + 六 让 一 As — Asli) = 0, 
AAG; 
i3 = 1,- vo ym. (5.8.13) 


利用 (5.8.10), 可 将 上 式 写 为 
Ey = Misti); trys. j=l, n. (5.8.14) 
注意 到 15.8,11b) 可 用 (5.8.9) FO, JERE LALLA, W (5.8.9) 成 为 


FUAS HAS] = ri, 


j=1 

t= l,o, (5.8.15) 
JE BY 

Ai DGP > Ashel); = 
了 一 1 j=l 

i=l, ,hn. (5.8.16) 

Tx PRT TJ RETE oR: 
B=Bt+E, (8.8.17) 


其 中 E 的 元 素 由 (5.8.14) 定义 ， 即 


B=B~Y Ojas" Ts(iez]， (5.8.18) 
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其 中 ei Hach 列 单 位 向 量 ， 入 证 Lagrange RT, 它 满足 
QaA=r, (5.8.19) 


其 中 ， 


TY i 
Q = Y (s(t)? se: + ef ssli))ef. (5.8.20) 


t=1 


事实 上 ， 只 要 注意 到 


Q\=r=Es= > Mileisti) Ts + elier s] 


¿=l 


=Y [s0 se: + ef ss(i)] eTA, 
i=i 
即 可 得 到 (5.8.20). 

上 面 定义 的 短 阵 @ 是 满足 对 称 性 条 件 、 稀 朴 性 条 件 和 正定 性 
的 和 矩阵、 对称 性 和 稀疏 性 可 以 从 (5.7.20) 直接 看 出 .关于 久 的 下 
定性 ， 我 们 给 出 以 下 定理 ， 

定理 5.8,1 MRAR (i), (i 二 1,.…,n) 中 没有 一 个 为 堆 ， 
,那么 矩阵 @ EFEN E 


ziQz>0, vzeR", z#Æ0. (5.8.21) 


证 明 OR ce AOL eR” RAMs 的 分 量 ， 由 (57.20), 


TE fh 


= > zai); s (7 jiz; + y S [sal?2 


i=l j=l i=1 k=1 


— > [eisisjz; + 2/83] 


ges 


ly. ， 
a 3 》 157237 十 szi 
(IE 


”333 ， 


-25 fi +3 > [zis] + 2,8 s) 


i=l (HEY 
>0 (5.8.22) 


ME TQ = 0, 由 于 2 AO, AAP = 的 分 量 ， 辟 如 说 zk #0, 使 
得 由 (5.8.22) 有 


之 KSkE = 0, 5.8.23) 
Spss + Zisk = 0, (k, j) Z J, j £ k. iS 8.24} 
因此 ， 在 5k = g, 进而 ， 57 = ), 了 天 k, (k, j) € J. 这 等 价 于 

s(k) = 0, 这 与 已 知 条 件 矛 导 ， 从 而 定理 得 证 ， o 

由 于 Q IEE, Wey (5.8.14) 和 (5.8.19) 可 知 
一 is 十 (7 (5.8.25) 
上 式 可 以 写成 

_ 0, Aer <a o 
Ei; = { May — Msi (HET (5.8.26) 


DES eh TP Te FAR TE A 
FR ERA Fr) = 0, FP: RY o R 的 情形 ， 
Schubert (1970) 首先 指出 ， Broyden #K—-ARIE 


B=B+ = Beye (5.8.27) 
Py EATS A Pe FT Pe IE AIJE: | 
T 
B= B+ See! wa Bes (5.8.28) 
其 中 e 是 第 i 个 单位 向 量 ， FAR BM a oft}, 可 知 校正 
B=B+ De pe eei (5.8.29) 
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WEBERI Bs = y, HAAN EEL. 
Schubert 稀 朴 校正 的 一 般 形 碟 可 以 写成 


B= B+ >) aati)’. (5.8.30) 
i=l 
其 中 
B el {y 一 Bs) a f% (7 ef 3 
LO = sts” zí 了 -{ 0, (i, 3) EL (5.8. 1) 
Xt (5.8.30) 采用 对 称 化 技术 ， 得 
B= B+ alezi)" + z(ief), (5.8.32) 


i=1 


选择 ai 使 得 吾 MEM ERA. BR. BURARER REE 
求 ， 类似 于 前 面 的 讨论 可 得 a 满足 


Tœ =r, (5.8.33) 


其 中 g 
了 了 =》 felt)? se; + ef sz{i}]e!, (5.8.34) 
i=l 
令 zli) = si, IR (5.8.18)—(5.8.20), T Ep PSB 公式 . 
下 面 我 们 再 讨论 稀疏 BFGS 校正 . 
考虑 (5.1.40) 给 出 的 BFGS 校正 


(5.8.35) 


RERE RE 具有 某 种 稀 朴 性 结构 . BEAM BRA 
FESH, ATEA B 使 其 具有 这 种 稀 下 性 结构 ， 我 们 定 闵 


B=F+E. {5.8.36) 
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考虑 极 小 化 问题 


min|| 吾 | = Tr (ETE) (5.8.37a) 
s.t. Es=0 (5.8.37b) 
fy = ~By, Gj El (5.8.37c) 
E= E", (5.8.37d) 


PR, (5.8.37) AAA I EARE. JF YE Frobenius 
范 数 意义 上 是 最 靠近 BFGS 校正 的 稀 栈 矩阵 ， 为 了 求解 (5.8.37)， 
定义 Lagrange 函数 D 


P(E, p, A,A) = 5T (ETE) — Ty (Esp?) — Tr (AE — BY) 


— 5 Ai; Tr (E + Beje? 
(hyper 


=5T (BT E) — Tr (Esu?) — Te (AUB — ET) 
—Tr(A7(E£+ By), (5.8.38) 
其 中 A ENER, AGA ET 时 ， 它 的 元 素 为 入 y, 4G eT 
时 ， 它 的 元 素 为 0. 
微分 (5.8.38), 得 


ag 


一 一 =F su — AF -A= 5.8. 
BE Sit +A 0, (5.8.39) 
即 
E=sp’ +A-A+ArT, (5.8.40) 
ET = ps? HAT AT +a. (5.8.41) 


利用 (5.8.37) 


E _ Er = sp” — ps? 十 A m AT + UAP 一 A) = 0, (5.8.42) 
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FE Fi 


BD . 
A-AT = (su ps’ +A— AT). 


利用 (5.8.40) 和 (5.8.43), 


E= Ho + jes? +A + AT). 


又 利用 (5.8.37c), 得 


t 1 1 
ef Fe; 5 (en MS" ej telap e + dg + Agi) 


tl 


BE 
Mj Age = 2B; — ef este; -elspe Gj) El 


上 式 可 以 写成 


A +AT = -2By) — Yo eel HO” + AG), 


i=l 


p _ { Bij, (2,7) elf 

~ Lo, aged 
Ri); = f $3, (2,7) EL, ~ y= { Re G9) ef, 
IVa, EHEJ, 7 0, i, 7) EJ. 


利用 (5.8.44) 和 (5.8.46), 得 


lle = 
E=3 bp ere? (us + sp) — 2B 


一 D ee! (usto + | 
i=1 


r 


È exe? (us(i)” + suly ) 一 2], 


t 二 1 


1 
2 


(5.8.43) 


(5.8.44) 


(5.8.45) 


(5.8.46) 


(5.8.47) 


(5.8.48) 


(5.8.49) 


+ 337 + 


其 中 Hi (i,j) € J, 
I 


wi, = { 0, HEL 


再 由 (5.8.37b), 


1 [Š . . 了 
= 了 [F eT s07 +s) 2B) s = 0, 
iml 


即 ， 
Y eej (usli) "s + suli)” s) = 2B s, 
i=l 
上 式 也 可 写成 
2 poisli s(t)? 十 s(i)ef Js = =i, 
其 中 ， 
t= 2B, . 


这 样 ， 一 旦 我 们 对 (5.8.53) 解 出 pi, EAE 


B=B 4 milest + s(t)ef), 
t=1 


(5.8.50) 


(5.8.51) 


(5.8.52) 


(3.8.53) 


(5.8.54) 


(5.8.55) 


其 中 B” 由 (5.8.35) GE, FERRY (5.8.47). 这 个 校正 公式 
称 为 稀世 BFGS 公式 ， 类 似 地 ， 对 其 他 所 牛顿 校正 了 世 可 以 得 到 机 


站 的 稀 玻 情形 的 校正 公式 . 


注意 ， 上 而 的 公式 (5.8.55) 是 在 极 小 化 问题 (5.8.37) 中 利用 无 
税 Frobenius 范 数 得 到 的 .完全 类 似 好 ， 其 果 我 们 伐 之 以 斯 权 W 


i] Frobenius 范 数 ， BD Ae Be 


1 
minj Elw = 5 (WEWE) 


st. As =O 
Ei; = —Bis, (7) ef 
BAB, 
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(5.8.56) 


+y 


‘rife TAGLE TL, 


Ao FARE (5.8.44), 我 们 有 
E= sle(s"M) + (Ms)z7 + M(A+ &7)M], (5.8.57) 


tt, M=W-3 z= Mp HS p= Ms, 这样， 相应 于 (5.8.55), 
我 们 得 到 ， 当 且 仅 当 M(A+AT)M § A+AT FHA NARS 
构 时 ， (5.8.56) 的 解 是 


= BY + Da T y pfije7), (5.8.58) 
其 中 o. 
: — Pjs (1,9) € J 
Pt); = { 0 (el, (5.8.59) 
z 是 方程 组 
So: (eapli)? + pla)e?)s = 2B» (5.8.60) 


i=l 


的 解 。 显然 ， 当 W 是 一 个 正定 对 角 加 权 和 矩阵 时 ， M(A+ AT)M 
与 仿 十 六 ”有 相同 的 稀疏 性 结构 . 

Toint (1981) 考虑 了 在 含有 非 对 角 加 权 乍 阵 情 形 下 的 稀 朴 拟 牛 
顿 校正 ， Steihaug (1984) 提出 用 预 处 理 共 弦 梯 庶 法 近似 求解 附加 
的 稀 朴 线性 方程 组 (例如 (5.8.19)), 以 提高 稀 王 拟 咎 顿 法 的 效率 . 

a 稀 玖 所 牛顿 法 失去 了 称 窒 情形 拟 和 牛顿 法 的 一 些 优 点 : 

， 由 于 兢 玖 结构 方面 的 情况 的 复杂 性 ， EHER 五 不 是 

a mEt n Ep. 

第 二 ， 为 了 计算 校正 ， 必 须 计 算 附 加 的 稀 朴 线性 系统 (例如 
(5.8.19)). 

第 三 ， 校 正 矩 阵 {Bk} 的 继承 正定 性 不 能 保证 . 

JEU 95.5 和 85.6 讨论 所 牛顿 法 的 收敛 性 ， Teint (1979) 和 
Steihaug (1984) 给 出 了 稀 醇 拟 牛 顿 法 的 收 伍 定理 ， 感 兴趣 的 读者 
可 以 参考 这 些 文献 或 者 自已 练习 证 明 . 
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第 六 章 ” 非 二 次 模型 最 优化 方法 


最 优化 数值 方法 通常 基于 二 次 函数 模型 ， 这 是 因为 二 次 浮 数 
模型 在 极 小 化 计算 中 最 简单 ， 而 且 一 般 函 数 在 极 小 点 附近 的 等 高 
线 近 似 于 一 族 共 心 棋 球 . 但 是 ,对 于 一 些 非 二 次 性 态 强 、 曲率 变化 
剧烈 的 元 数 ， 用 二 次 函数 模型 去 庆 近 获 果 就 莽 . 另外 ， 以 二 次 函数 
作为 插值 烧 济 在 插值 过 程 中 未 能 充分 利用 以 前 连 代 中 的 函数 值 信 
E Ault. M70 年 代 起 人 和 们 开始 研究 各 种 非 二 次 模型 方法 ， 期 望 
这 些 方法 能 够 在 挝 代 过 程 中 搜集 到 更 丰富 的 信息 ， 以 改善 最 优化 
方法 的 性 能 ， 本章 我 们 将 讨论 齐 次 冰 数 模型 、 张 量 模型 和 锥 模型 ， 
信赖 域 模型 (或 叫 约束 模型 ) 已 经 在 83-6 讨论 ， 并 将 继续 在 第 十 三 
章 研 究 ， 我 们 希望 这 些 讨 论 能 避 超 读者 对 非 二 次 模型 方法 研究 
兴趣 和 注意 ， 


§6.1 ” 齐 次 通 数 模型 的 最 优化 方法 


一 般 地 , 函数 极 小 化 方法 是 根据 目标 一 数 的 二 次 模型 , 它 可 以 
写成 如 下 形式 ， 


f(z) = 5 (2 - B87 O(a —B + Ê, (6.1.1} 


Hp OQ Baxn ESE, 2 Æ fle) 的 极 小 点 ， ERME. 
现在 ， 我 们 考虑 齐 次 函数 模型 


fla) = > (2 = 8)" VSla) + Ê, (6.1.2) 


- d40 ， 


其 中 > 是 章 次 度 ， 名 ERNA f ERME BR Oran 
型 (6.1.1) 是 齐 次 函数 模型 (6.1.2) 的 特殊 情形 . (6.1.2) 包含 一 大 
类 函数 ， 例 如 ， 


f(a) = E (x ~ 8)" Q(x a), (6.1.3) 
其 中 了 > L AFTRA! (6.12) 两 边 求 导 ， 得 
ale) = Ge - 2) + gle), (6.1.4) 
这 里 g(r) = V f(e), Ga) = V? f(s). 假定 G(x) 可 道 ， 则 得 
è = z = (yD) g(a). (6.1.5) 


当 %Y 二 2 时 ， 得 到 标准 的 牛顿 步 ， 当 > 2 时，(Y 一 1) RAR 
步 的 一 个 调 比 因子 - eH, SETAE ee, Pa AA 
是 需要 的 . 

”正面 我 们 推导 章 次 函数 模型 的 算法 公式 ， 由 (6.1.2) 得 


vf (a) = (x - 4)" g(a) +f, 
& farf, ERRA 
STg(z} 十 Yf(z) — f = 27 g(r). (6.1.6) 
定义 
yi = (lel, flri), 1). 


T = (gh aay f (6.1.7) 
vi = w g(t), 


GY (6.1.6) 成 为 
yi a = wi, 1 一 1 了 十 2. 
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即 
Ya =v, (6.1.8) 


vi 
v= : - 
T 
Yata Un+2 


当 y REEK HY ape, AA tee 


其 中 


oY ily. (6.1.9) 


BR, 在 a 中 包含 了 我 们 所 需要 的 解 2. LRAT, S 
{yi} 线性 元 关 时 ， 上 述 方法 在 nn 十 2 步 可 以 求 出 齐 次 函数 的 极 小 
点 è 对 于 一 般 唤 数 ， 这 个 方法 通常 不 会 在 % 十 2 PER. eB 
PETTA | 

对 于 逐次 产生 的 ay 和 4, (6.1.9) 可 以 采用 校正 方法 计算 . 

设 户 1= 了 是 一 个 {n+2) x (n+ 2) BR, wv = ag 是 n+ 2) 
维 向 量 ， 其 中 ao 是 给 出 的 初始 点 . PER BOE. Re 
yi 和 vi BRR Pot 中 的 对 应 行 和 vO 中 的 对 应 元 素 ， 即 


Pr = 已 “ + ei (yi 一 ej Po), (6.1.16) 

yt = wl 十 ei (vi = ef yp), (6.1.11) 
其 中 ej 是 第 了 tataa, jeit, oe) 和 w+D 分 别 是 第 i 次 
Mi LAARA EHRE. MH Householder 公式 ， 得 


Pie; (yh Fi ~ ef) 


Pii =P 2 (6.4.12) 
Vi Pie; 
向 量 a 的 逐次 估计 为 
F; eg AUG -yr i 
oi = a; H (viet ie) (6.1.13) 


Yi Pies 
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下 面 我 们 将 证 明 
Pate = Yo" n+ = Œ. 


RRS FIRM, 方法 在 (+D 步 得 到 极 小 点 , 齐 次 度 和 极 小 值 . 
引 理 6.1.1 WME (n+ 2) 个 最 新 的 ys 线性 无 关 ， 则 存在 一 
个 指标 GL Si <n +2, MB yh Pie; £0. 
证 明 ”由 于” 十 2 ys BAK, AER M yP BP 
有 一 个 非 零 元， 对 于 这 个 非 零 元 ， 选 择 对 应 的 j, 则 yZ Pres + 0. 
a} 
EM 6.1.2 $ f(z) 是 (6.12) EXAM, wey, 
et .€n4o 线性 无 关 ， 宇 所 中 十 2 则 


ok = ve, We iF). (6.1.14) 


因此 ， Oni+2 = oy, Paste = YF, 
证 阴 ”利用 (6.1.13), 


yla Pie; 
Yi Pie; 


ob vier = Yai 十 (vir os), j= itl. (6.1.15) 


AAS] 6.1.1, yE Rea. #0, 因此 上 式 表明 . 
ce = Yi- - (6.1.16) 
X, 


y} Pres (ven — yia) 
F 
Yide; 


at sy = Hai ， j=i+1l. (61.17) 


SPP suis Wal P= ef, RG = ttl, Mi 

yi Pre; = ef ei) =0, . (6.1.18) 
于 是 由 (6.1.17) 和 (6.1.18) 得 

cd = ylei = v. 
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按照 类 似 的 方法 处 理 ， 我 们 有 
of Yk = of Yk 25 t. 一 any: = Vk- (6.1.19) 
出 于 
Ol = UR, kalp ++ 242, 


AGB Ong. =o. MAT 


. F yE r t 
Pro = | : > U= : : 
Ee | 


Pha =v, 


Th 


成 而 得 到 Papo = Y! 口 

EEA RAA ANER rA RARE nt 步 收 总 ， Jacob- 
son 与 Pels (1974) 证 明了 在 近似 线性 搜索 (Armijo HEN) 的 条 件 
下 ， 方 法 对 于 一 般 非 线性 画 数 其 有 越 线性 收 伍 性 . Charalambous 
(1973) 利用 广义 道 给 出 了 方程 (6.1.8) AG, Kowalik 等 i1975) 
提出 了 解 LU 分 解 的 校正 方案 ， 孙 文 葵 和 和 沼 蜡 文 (1989a,，P)] 给 出 
了 解 (6.1.8) 的 Greville 北 扒 方法 和 直 交 分 解 校 下 方法， 并 上 避 利用 
近似 线 竹 搜索 代替 精确 线性 搜索 . 

总 之 , 二 次 亲 数 模型 是 齐 获 函数 模型 当 y 二 2 时 的 特殊 情形 . 


”对 于 一 般 非 线性 函数 的 极 小 化 ， 齐 次 函数 模型 是 比 二 次 通 数 弄 型 


优越 的 函数 异型. 对 于 这 种 极 个 化 模型 ,进一步 深入 的 研究 仍 是 必 
要 的 . 


562 张 量 方 法 


张 量 方法 也 基 二 次 神 型 方法 的 推广 ， 这 种 方法 由 扩充 日 标 函 
数 的 Taylor 展 式 到 三 阶 项 或 四 阶 项 产生 ， 对 于 Hesse 矩阵 奇异 的 
问题 ， 张 量 方法 有 明显 的 优越 性 . 张 量 方法 是 由 Schnabel 和 Frank 
(1984), Schnabel 和 Chow (1990) 提出 和 的 ， 在 本 节 中 ， 我 们 将 分 别 
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讨论 解 弟 线性 方程 组 的 张 量 方 法 和 解 无 约束 最 优化 问题 的 张 量 方 


6.2.1 ” 解 非 线 性 方程 组 的 张 量 方法 
WOR R” 一 RFR", 考虑 解 非 线 性 方程 组 


F(x) = 0, (6.2.1) 


即 求 z* e A", 使 得 PCa") = 0. R (6.2.1) PRA ER 下 (x) 在 
当前 点 re 处 的 线性 模型 


Mix, +d) = F(z.) + F'(2.)d. (6.2.2) 
当 Fed EARR TOER z+ 为 
T4 = fe F'(A T F(a). (6.2.3) 


牛顿 法 的 显著 特点 是 ;如果 F (2e) 在 2 的 邻 域内 Lipschitz 连续 ， 
F(a") 非 奇异 , 则 由 (6.2.3) 产生 的 牛顿 序列 局 部 和 二 次 收 敏 到 e. 
这 意味 着 存在 5 > 0 fl c > 0, 使 得 当 ro- 2" || 6, EE 
生 的 迭代 序列 {zx} 满足 


iter — a+] x eller —a* fl’, (6.2.4) 

但 是 ， 如 果 FG) SS, HACE eae RE. aE 

考虑 的 张 量 方法 浆 补 了 这 个 缺陷 ， 当 FSR, KESED 
然 具 有 快 的 局 部 收 敏 性 . 

解 非 线性 方程 组 的 张 量 方法 考虑 在 当前 点 we A 


, 1 
My(#_.+ d)= F(a.) + F'(z.jd + zTedd, (6.2.5) 


其 中 ， T e RITO 是 一 个 三 维 张 量 . (6.2.5) RA Fla) 的 张 量 
模型 ， 根 据 (6.25) 的 方法 称 为 张 量 方法 . 
下 而 我 们 给 出 一 个 定义 . 
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SM E21 Te R? M T i n Ak F (horizontal 
faces) H; E Ams 组 成 ， i= i, try Th, 其 中 Hili, k] = T[i, j k]. 对 
于 vw,we BR", Tew ¢ R", 其 第 i 个 分 量 为 


Tuwi = v Hw 


SO SO Ti j kjølihefk]. 16.2.6) 


i=1 k=1 


At, (6.2.5) 给 出 的 张 量 模型 实际 上 是 一 个 n 维 向 量 ， 其 每 
一 个 分 量 是 F(x) 的 分 量 聘 数 的 二 次 模型 ， 即 


. 1 
(Mrize + dD =fi+ of d+ od” Hid, 


i=l,---,n. (6.2.7) 


其 中 f= Fed), oF 是 Feo 的 第 i 行 ，Hi 蚌 Fle) 的 第 i 个 
oh OR BE Hesse HFE. 

FLFR BAD (6.2.5) 中 Te 的 明显 选择 是 (ze). 但 是 ， 惊 人 
的 计算 量 告诉 我 们 这 样 做 对 于 算法 是 不 可 接受 的 ， 因 为 它 骨 要 在 
每 次 选 代 中 计算 F (r) 的 ma 个 二 阶 偏 导数 ， 存 贮 单 元 超过 n*/2, 
每 次 送 代 要 解 售 na 个 未 知 数 的 # 个 二 次 方程 的 方程 组 .为 了 克服 
这 些 缺 点 ， 张 量 方法 利用 现 有 的 画 数 值 信息 和 一 阶 导 数 信 息 构 造 
To, 整个 方法 与 标准 方法 相 比 增加 的 工作 量 很 小 . 

为 了 构造 工 , 我 们 选择 前 面 的 不 一 定 相 邹 的 Pp PAT co, 
… ps 要 求 张 量 模型 (6.2.5) 在 这 些 点 手 秆 请 数 值 P(e), 即 


F{æ a) =Fla.) + F’{a-)s, + S Tosisn, 
k=l, p (6.2.82) 
”其 中 
Sh =E k Ee k=l oep (6.2.85) 
我 们 要 求 方向 {3k} 是 强 线性 无 闫 的 , 即 每 一 个 方向 s 与 由 其 他 方 
同 张 成 的 子 空间 的 类 和 角 译 少 有 8 度 , 实际 经 验 指出 8 取 在 20°. 一 45° 
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的 范 贞 内 最 适宜 ,选择 se 的 过 程 可 以 利用 修改 的 Gram-Schmidt 
, 算法 完成 ， 由 于 {ox} RHEE, Mee <n. 实际 上 ， 我 们 取 


pan. 
今 将 (6.2.8) 写成 
TaSkSe = zk, R= lb (6.2.9a) 
其 中 
zk = UF (ep) -Re 一 Projsn (6.2.9b) 


这 是 一 个 np < n3/2 个 方程 的 线性 方程 组 ， 含 有 n 个 未 知 量 
Teli, jk] LS ihk Som. 下面 ， 我 们 按照 第 五 章 拟 牛 顿 法 中 求 
最 小 改变 割 线 校正 的 技巧 来 选择 To 

EX 6.2.2 u,v we R”, H 


T[i j, k] = ui} ` ef] - wk] 
Hoy ik T e Rr ARK, H 
Tupu w 


Em., HP 1 <ij,k <n. | 
BR, K-KE uow 的 第 ;i 个 水 平面 是 秩 一 矩阵 w 国 (az 
定理 6.2.3 pin. 假定 sk cK", k=1,---,p, {93k} 线性 
无 关 - Ha ER" k=1,-,p EMM © RPP, Mli j) = (oT s,)", 
L<ijcgp. ZER™?, Z BAIA uy k=l, p MA, M 
是 正定 的 ， 且 


min Niele 
TER (6.2.10) 
S.t. ToskSk = Fhe, K=1,---,p 


的 解 为 


b 
Te = J (ae @ sk B 84), (6.2.14) 
ke 1 


其 中 ar BACAR? HAR, A= ZMU, 
证 明 ”因为 (6.2.10) 中 月 标 函 数 和 约束 可 以 分 解 成 n 个 分 开 
的 自 标 函数 和 约束 ， 故 问题 (6.2.10) SH TRUF n 个 分 开 的 极 
小 化 问题 : 
È min Hile 
Hie Rees (6.2.12) 
s.t. sT His, = zeit], kilep 
其 中 A; BT, 的 水 平面 ，i 二 1,-…,n. 问题 (6.2.12) BS p PH 
程 组 、n2 个 未 知 量 的 亚 定 系统 ， 设 hie R”, 


h; =(H;[(1, 1], 4/1, 2],- te [1,7], Hi[2, 1], tary 
H;[2,n],---, Hi ln. 1],---, dil nat). (6.2.13) 


RRS ERP’, S HH k TH 
Be 一 (fsk[1]si sn[2]s7,---, #4 [n]ef). (6.2.14) 
再 设 Ze RP 的 第 i 行为 束 , B 
zE R, fil = zd], lgign lk 人 gn. 


TÆ, (6.2.12) 等 价 于 


min |} 2 
Aver? 


Re (6.2.15) 
st. Shy = zi. 
由 于 {s} REFER. WS fW Ai (6.2.15) 的 解 为 
hi = 3° BS") 2,. (6.2.16) 
HF M=S585", kt MEE. ZA=2M—, 故 有 
h=S' a, (6.2.17) 


Hep, a BA 的 第 i 行 ， 吉 一 [55 -iz,, 并且. 
z[k] = ari, Leicgn, lakap. 
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于 是 . ， ， 
hi= dai kiss = D a; [i]3k, (6.2.18) 


其 中 5 Æ (6.2.14) 定义 的 5 的 第 天 行 . 把 16.2.181 BARNA nxn 
矩阵 H: 表示 ， 得 , 
H; = >》 or 国 sks (6.2.19) 
k=1 7 
BA. Ban? A, 就 形成 (6.2.11) 给 出 的 T.. 口 
将 (6.2.11) (CA cK BW (6.2.5), 得 到 


P 
Mr{re + d) = F(z) + F'(x.)d + ; Yards). (6.2.20) 
koi 


在 土 述 模型 中 ， 所 得 到 的 二 阶 项 的 简单 形式 是 能 够 有 效 地 形成 、 
”在 凤 ,求解 张 量 模 型 的 关键 . 在 张 量 方法 中 ,额外 的 存 贮 量 是 为 了 
FFM {an} {sr} 、{z-ej 、 {f(z%-k)} 所 需要 的 dpn 个 存 贮 单 
元 额外 的 计算 量 是 形成 T. 所 需要 的 rp 十 O(np?) 次 运算 和 解 
A= ZM 所 需要 的 Ofnp?) 次 运算 ， 由 于 p < yn, REM BS 
计算 量 至 多 是 O(n? 这 与 标准 方法 在 每 次 迭代 中 需要 ns/3 次 运 
算 相 比 ， 增 加 的 工作 量 并 不 大 . 


6.2.2 ” 解 无 约束 最 优化 的 张 量 方法 
现在 ， 我 们 把 张 量 方法 用 于 解 无 约束 最 优化 问题 


六 扰民 


min f(z), f:R" +R. (6.2.21) 
我 们 考虑 张 量 模型 
my(z,t d} = flc +V flr d TV? fleo) -a 


1 
Vd (6.2.22) 


1 F 
一 了 . a 7 
+ 6 + 24 
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HT. ER AV, e Ren 是 三 阶 和 四 阶 张 量 ， 它 们 者 
是 对 称 的 ， {6.2.22) 称 为 无 约束 优化 的 张 最 模型 ， 根 据 这 个 模型 
的 方法 叫 解 最 优化 问题 的 张 量 方 法 . 

为 了 选择 了 和 六 ,我 们 选择 2 个 不 一 定 连续 的 点 了 -1 Ep 
并 要 求 模型 (6.2.22) 在 这 些 点 满足 下 列 插值 条 件 : 


Flea) = fro) + Vi (we) s + ice a? 


1 1 
+ Te: sit vac sk, (6.2.23a) 


Vi(w_x) =VF (20) +V’) sn 十 ST sh 


le 3 
+ aVe- sh, (6.2.23) 


其 中 ， Sk = Tk — Ee, k = 1,:..,p. 与 前 面 的 讨论 一 样 ， 方向 {sxe} 
是 强 线性 无 关 的 . panal. 
对 (6.2.23b) PIED sp, 得 


Vi(t_e) sk =V fize) + sk + Vf (xo) e? 


1 1 
+57. ssf 十 que: si, (6.2.24) 
EX 0,8 & RP 分 别 为 
afk] = T,- sz, (6.2.25a) 
Alk] = Va. si, (6.2.25b) 


HP, ksl, p 于 是 (6.2.23a) 和 (6.2.24) 可 以 写成 
Zak] + Zak] = olk], (6.2.26a) 
1 
salt] + AR] = lkl, (6.2.26b) 
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其 中 


mlk] = Vi (ex) sr — VF lee) sx — V2 F(a) + 82, 
‘6.2.27a) 


alk] = fen) = Fle) — Vf lw) su — 5 V*F (ee) 8, 

| (6.2.27b) 
k 二 1,.…,p. 方程 组 (6.2.26) 是 非 奇异 的 ， 每 一 个 网 和 BIA] 可 
以 唯一 确定 ， 这 样 ， 我 们 可 以 地 


min | Malle 
VIER Xaxnan 


s.t.V.+ 5; = 6[k], k=1,---yp. (6.2.28) 
Ve OE BR. 
确定 Vos 再 由 (6.2.23b), 有 
(6.2,29) 


其 中 
ar = 2(V fen) = Vf (ee) -Ye ax = EY +82). 
方程 组 (6.2.29) 有 np <n? 个 方程 ， 含有 mn? 个 未 知 数 Tli j kl. 
leigk on. 我 们 再 由 
min ilie 
了 人 再 ”xm 
st. Th sf = az, i=l op (6.2.30) 
Te 对称 ， 


确定 To 
TANNER E (6.2.28) 和 (6.2.30) 的 解 ， 
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定理 6.2.4 dpan. RE sp CR" k=l np fs 线性 
EK, BER. 定义 Me RP, Mii, 7 = {s13}, 1 Sij Sp È 
X ye R y= Mis. BBA, PPB (6.2.28) 的 解 为 


P . 
Ve = S[k] (sy B Sk sh ak} (6.2.31) 


IEA EMER" A 
T =(¥,[1,1, 1,1), ¥[1,1, 1, 2],---.¥[2, 1,1, 2], 
V.[1,1,2,1],--°, Ve[1.1,2,n].---, Vln, n, n, a]). 
EHER 3 e RX" 其 第 行为 
(skf, (SEDE (eu l2)), s Ek) Clt. 
FE, (6.2.28) 等 价 于 


min ata 
(6.2.32) 
s.t. Sh = 8B, Va BTR. 


RE V, Oo 的 原始 形式 .出 于 {sk} RHE, HS HR, OM 
而 


min | 仁和 
(6.2.33) 
st. SHE= 8 
的 解 是 
ù= T(E. (6.2.34) 


HERZ, Æ SST = M, 因此， 
= 874. 


将 BERT V. 便 得 到 (6.2.31). HT Ve 对 称 ， 故 (8.2.31) 是 
(6.2.28) 的 解 . 口 
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定理 6.2.5 psn. BE sk CR R= 1 {se} 线性 
EM, aE R”, k=l -onp Wg (6.2.30) 的 解 为 


È 
Ts = (be © Sk S Sa + sr br Dsk Hsr Ose Dhr), (6.2.35) 
k=l 7 


其 中 6, € R” k=l op {b} 是 使 得 (6.2.35) 满足 
Tat = ti, i 二 1 ,Pp 


的 唯一 的 向 量 集合 . 
证 阴 ”首先 我 们 证 明 (6.2.30) 中 约束 集 是 可 行 的 , Hie R’, 
i= 1,--- Bs, 满足 


To l, =j, Ega 
Tyl iZi 对 于 了 =1 Pp 
由 于 {si;] REEK, KOAH EE 在 可 通过 列 为 si REM OR 
分 解 得 到 ， 于 是 ， 
p 
T= 


i 


(4, @t Bat t, Ba; Ot +a, Vt, Vt 
1 


一 2(af si} (ti Dih a til) 


Æ (6.2.30) 的 可 行 解 . 
Dennis 与 Schnabel (1979) ET: WERE G e RKP, 
其 序列 由 下 述 过 程 产生 : 


Ty = 0, tT 7 =0,1,2,--- 


Tajpi 是 
min 2341 — Tlie 


2 . 
st. Toy+r1 5; = i; ti, p 


的 解 ， Tojo 是 

min |[Taj42— Tas+ille 

S.t. Taj+3 OTR 
的 解 ， 那 么 ， 序 列 T) 有 极限 ， 这 个 极限 是 (6.2.30) 的 唯一 解 
{参见 §5.1 中 Powell 对 称 Broyden 校正 的 推导 和 定理 5.1.4). 

FE. REH: 对 于 某 个 向 量 集 合 brh 这 个 极限 有 形式 

(6.2.351， 我 们 将 遂 过 证 明 每 一 个 Ty 具有 形式 (6.2.35) 来 证 明 这 
个 结论 - 显然， 五 上 县 有 这 个 形式 , 今 假定 对 于 某 个 7 Biome wz, 
即 对 干菜 个 向 量 序列 {uc}, 


F 
Taz = Ylur E Sk O8_ + Sk Euk D set Se Bs~e Buy) (6.2.37) 
k=1 
成 立 ， 由 定 埋 6.2.3, (6.2.30) 的 解 是 
f r 
Toji = Tay +S ots & sp © sp), 


k= 


其 中 featj BAP APS. EE, 


1 P 
了 25+2 =Tzj + 3 S (o G sk S Ske + Sk O Uk D Sy t Sp O Sp Q Uz) 
k=1 


P 
= (mr F)esentee(utrt)es 


k=l 


Us 
+ 5,8 8; 8 (+ 3)) 


它 表 明 Ty: 具有 (6.2.37) HBR. JMR, PED 
向 景 序列 {br}, (6.2.30) HA T, 必定 具有 形式 (6.2.35). 
最 后 ， 我 们 证 明 ， 使 得 T. 满足 


Tes? = ap t=1,.,p (6.2.38) 
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的 某 个 向 量 序列 {6x} 是 唯一 的 . 将 (6.2.85) 代入 (6.2.38), 得 到 np 
个 线性 方程 组 成 的 方程 组 , C&A np 个 未 知 量 . 这 里 , EE {sr} 
的 函数 ,未知 硬是 {be} 的 元 素 ， 右 端 项 出 {en} 的 元 素 组 成 . 由 于 
我 化 上面 证 明了 对 于 任何 {en}, (6.2.30) BAH, BLES 
和 Dennis-Schnabel (1979) 的 理论 意味 着 对 于 任何 右 端 项 ， 方 程 至 
少 有 一 个 解 . 因此 ， 该 方程 组 必定 是 非 奇 异 的 ， 因 而 有 唯一 解 ， 这 
表明 序列 {be} 被 唯一 确定 . D 
上 面 两 个 定理 证 明了 由 发 小 范 数 问 题 {6.2.28) 和 (6.2.30) 确定 
的 Te AAV. SP RAT HK 2p A p, XTRA IK E RE A A ITEA 
SR AR. 但 定理 6.2.5 ARAM — SA PE TL 的 方法 .于 面 ， 
我 们 提出 一 个 形成 T 的 和 有效 方法 . 

将 (6.2.35) 代入 (6.2.38), 得 到 


P 
ai = $ (br ® 54 & Sk se & dy Q 3, Bk @ Sk Bh,)- s? 


z 


也 P 
= 人 ss 29 skfsge] (bf 8.), a=1,---,p. 
k=1 


A=BN + 25M, {6.2.39) 


其 中 ， 4,B,S © ROP, CAGES k Ayy ak, bk; 8k- N, M E€ 
RP*F, Ny = (s7s;)”, Mi; = (s7 sy) (08 s;),1 <i, <p. 注意 B 
TARRE, M 是 这 些 未 知 量 的 线性 函数 ， A, N, 5 是 已 知 的 . 
对 (6.2.39) AALER ST, 得 


[STA] = [ST BIN + 257 S]M. (6.2.40) 


定义 aij = bisa Lij <p, W (6.2.40) 可 以 写成 如 下 含有 p? 个 
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线性 方程 组 ，p? 个 未 知 数 zi 的 方程 组 : 


,了 
Pst ay ZL 
1 T 一 
| 8] 2 N “13 
81a, | Tip 
N : 
33 Gy, Tpp 
wii 
w12 
TIl 
T12 
Wip : 
十 呈 | i ee ... x. ， (6.2.41) 
1 
Wypl P 
Wp? 
Tpp 
Wpp 


其 中 w; Æp mE, BA 
ECEN (S73), (8882) (s2 837), (87 sp) (sp 57)]. 
在 (6.2.41) P, MES RRC so, 于 是 可 以 求解 (6.2.41' 得 到 
Tijs 然后 由 
计算 M. BUA, H 
B=(A~2SM)N— (6.2.42) 


计算 B. RAN 是 可 道 的 ， 因 为 {a} 线性 无 关 . 这 样 ， 我 们 得 到 
T bn, ARRE To 

现在 ,我 们 来 求解 张 量 模型 (6.2.231. 将 (6.2.35) 和 {6.2.31} 中 
Te 和 VW 的 值 代入 张 量 模型 (6.2.22), 得 


mya, +d) 一 Fo) + VF (ee) -d+ SVs (ee) .d? 


+ 856 ， 


1 P 2 1 P T n4 
+5 >. ( (中 四 (sd + 55 >, WE {sp a) 


=flze) +g d+ od? Hd 


Hh, g= VF(ee), H= V? fle). i 
Se RP, 其 第 天 列 为 sso. K Z e RO AW e 
Re“? PARE, DRA 


27S=0 和 WTIS=I. (6.2.44) . 


Si 


d=Wu+ Zt, . (6.2.45) 


Ep ue RP, te R. 将 (6.2.45) 代入 (6.2.43), 得 
mp(te+ Wut Zt) = f(z.) + g Wut+g Zt+ su WT HW 


+ WTHZE 3 th ZZ 
p 
+ Wt qD vile 
2 
k=1 (6.2.46) 
(6.246) 甘于 上 是 二 次 的 ， 因 此 ， 对 于 有 极 小 点 的 张 量 模型 来 说 ， 
ZTHZ 必须 正定 ， 该 模型 关于 上 主 的 导数 必须 等 于 0, 即 


p . 
Zg + ZTH Zt + ZT HW 327 > bul]? =0, (6.2.47) 
i=l - . 


从 而 得 到 


t= -~(Z7HZ)— ‘at (9+ wa +} S bul P) (8.2.48) 


i=l 
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wR ZHZ 正定 ， 则 模型 的 极 小 值 为 


1 ap LS ary 
ru = tg Wut 5" We AW + 3 lil (BPW u) 
12 T 
24 + 


t=1 


ae 1/ Ie, o 
~ ad] 一 3 | gt Wut 3 y batil?) 


` 


+ 


i=l 


p a 1 P 
:Z(ZTHZ\ 12 (s +HWuts5 bull). 
2 : , 
i=l (6.2.49) 


这 是 关于 u 的 四 次 多 项 式 . MR (6.249) 有 极 小 点 ut, WA 
(8.2.48) 得 t", 从 而 得 到 

d = Wu" + Zt". (6.2.50) 
ABARTH, RIERA R RRE. 如 果 得 到 的 


dt 是 下 降 方 向 , 但 zc 十 4d* 不 是 可 接受 的 ， 则 由 标准 的 线性 搜索 策 
RE RAP FA, 并 令 


fy =a,+Ad", AE (0,1). 


如 果 (6.2.49) 没有 极 小 点 ， 或 者 所 产生 的 d 不 是 下 降 方向 ， 则 采 
用 二 次 模型 方法 ( 带 有 线性 搜索 ) 求 下 一 个 选 代 点 . 
类 羽 地 ， 也 可 以 采用 信赖 域 策略 


min mr(x, +d} 
JER" (6.2.51) 
st. Nalls < he 


其 中 ho eR BTR, RM (6.2.51) 可 以 通过 下 述 序列 无 约 
束 极 小 化 问题 


. 2 | 
min mrlret dd) +o{(d7d-— h2), (6.2.52) 


wE, o HWAT. 
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另外 , 在 实际 执行 中 , 我 们 分 别 根据 张 明 模 型 和 二 次 横 型 计算 
两 个 可 能 利用 的 新 选 代 点 zc 十 df 和 ze 十 dn; 然后 选择 具有 较 小 
PA Se A — MEW BK ICA. 
张 量 方 法 的 算法 如 下 : 
算法 6.2.6 ”给 出 当前 近代 点 re (ze) 和 he 
步 1 HM Vela), 并 决定 是 否 停止 如 果 不 停止 ， 转 步 2. 
步 2 it V? fiz}. 
步 3 选择 ?全 过 去 的 点 . 
步 4 THT, All Vz. 
步 5 根据 张 划 模型 和 借 赖 域 策略 , 求 可 能 接受 的 新 点 zc 十 dz 
和 新 的 信赖 域 六 径 hr. 
步 6 根据 一 次 模型 和 信 事 域 策略 , 求 可 能 接受 的 新 点 ze+dxv 
种 新 的 信赖 域 半 径 A. 
wT MR flze+ dr) < flaet+4n), > 


wy = r,+ dr, h} = hy, 
否则 ， 令 
T4 = £fe tday, AL = hy. 


步 8 a. = 24, fla.) = fizy) he = h4, 转 步 l. E 
最 后 我 们 指出 ， 上 述 张 量 方 法 中 Hesse 矩阵 也 可 以 用 有 限 羡 
分 Hesse 近似 或 拟 牛 顿 校正 代替 . 


§6.3 ” 锥 模型 与 共 线 调 比 


6.3.1. 锥 模型 
通常 考虑 的 二 次 函数 弄 型 是 
qaid) = f(z) + gtd+t id Bud, (6.3.1) 
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它 满足 
glar) = flee), Valen) = Vihas). (6.3.2) 
在 拟 牛 顿 法 中 ， 校 下 满足 拟 牛 顿 条 御 
Balek — ck) = Vi (ex) ~ VSE), (6.3.3) 
它 相 当 于 插值 条 件 
Valari] = OF (es. 1). (6.3.4) 


从 而 可 知 , RRL AS AY A ER AE (6.3.2) 和 (6.3.4) 中 的 二 
AR. NF EPR EAR, Se, A 
次 男 数 模型 去 通 近 效果 就 较 状 ,另外 , CART EAR OA BA fe E 
在 播 值 过 程 中 未 能 充分 利用 为 此 ， Davidon (1980) 提出 了 无 药 
PUR DL ERA TK, 它 可 以 播 值 较 多 的 函数 和 梯度 信息 ， 其 横 
型 函数 比 二 榨 模型 更 加 一 般 - 


今 设 所 考虑 的 锥 模型 函数 为 
: 
= > e 1 dT Apd ， 
elak +d) = flre) | 1_afata G+ bra?’ (6.3.5) 
其 水 平 集 是 男 锥 曲线 . 
Veld) = (L+ 67 d)g. —gpdb | (1+ 57d)? Ad — (1 + bT dd” Andb 
c (1+ bP ay? (1 + bPadyt 
_ (4 8P dy bd? (14 dT d)gn + And 
1+ bd (+ brady 
_ 1 [好 Axd 
BETH Labrada] lt tral: (6.3.6) 
从 而 当中 满足 
Ard 
Gk + Id = 0 (6.3.7) 
时 ， Ve(d) = 0, RA c(d) 有 极 小 点 ， 由 【6.3.7)， 
一 4 gk 
= Ta age (6.3.8) 
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因此 ， 如 果 1+b Ap ge #0, 所 求 的 极 小 点 为 
Ag gk 


一 —— k=. (6.3.9 
1+ FA, gx ) 


k+l = Tk 
纵 模 型 {6.3.5) 也 可 以 看 作为 在 d 空间 的 一 次 模型 ， 其 中 新 变 


明 4 和 4d 的 关系 为 a 


d= oT (6.3.10) 
或 ` 
= 5r (6.3.11) 
在 新 变量 d gm MRN (6.5.5) 变 成 
c(t, +d) = flee} + gidt LF Ad. (6.3.12) 


: 2 


6.3.2 FP MUTE 


Sorensen (1980) 从 共 线 调 比 的 第 度 导 出 了 锥 模型 方法 满足 的 
广义 拟 和 牛顿 方程 ， 

Sik yr, w, Bh AR ENE, 9,5,0,B,h ARET OE. 
设 变 量 的 共 线 调 比 为 : 


Bw) = F+ Twll th w), (6.3.13) 
调 比 痕 数 为 
pw) = few), (6.3.14) 
其 对 应 的 二 次 模型 为 
ww) = p0) + p (0w + SW" Bu (6.3.15a) 
_ a VETS st RBI's | 
fe) IO KJ? O-R F's) 
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= f(z) + fF"(E)Jw 十 su Bu, (6.3.15b) 
其 中 


g=Ju/(l+ hw), 
J 


1s/(1 ET 1). 


w = 


为 了 校正 J, h, B, 并 得 到 J, h, B, RATS EAE 


和 播 值 条 和 件 ， 
HAER: 
z(O0)=2, 天 一 加 =r. (6.3.16) 
插值 条 件 ， 
BO} = PO, VO} =F'(0), (6.3.17a) 
Piu) = Fv), Y (=) =p (v) 
(6.3.17b) 
AAS HE oe PASE SE 
w 空间 ; 
| 
-=r & at 
s 空间 : wx 
| 上 1 
a r xe) 


Pe) = B(-v), P0) = p0), 
PP), P (0) = g'(0). 
6.3.1 HEHEHE SHAE 
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TR, 
O (+h wd- Joh 


Tw) 一 
(+h w)? 


3'(0) = J, 

{1— EaI + Fun? 
ras. 
p'(w) = fe) (w), 
B(0) = f'(B(0))2’(0) = Fx), 

P (0) = PEE (a) = FMT + 5h Vr, 


P (w) = p (0) + wT B. 
¥ (0) = (0) = f(T, 
T a =F0) oT B = f(r — oT B. 


令 


二 1 一 hv, 
则 由 相 容 性 条 件 Zv) = 2 立即 得 到 
z =3(-v) =F Jo/y, 


Bp 


dv = ys, 


下 面 ， 我 们 从 相 容 性 条 件 (6.3.16) 和 插值 条 件 (6.3.17) 导出 
E 应 满足 的 关系 式 ， 为 方便 起 见 ， 我 们 把 导数 列 出 如 下 ， 


(6.3,18a) 
(6.3.18b) 
(6.3.18c) 
(6.3.19a) 


(6.3.19b) 


(6.3.19¢) 
(6.3.20a) 
(6.3.20b) 
(6.3.20c) 


(6.3.21) 


(6.3.22) 


其 中 =2—c. 显然 ， 播 值 条 件 (6.3.17a) 直接 为 调 比 函数 的 二 次 
模型 (6.3.15) 所 满足 ， 另 一 方面 ， 考 虑 搬 值 条 件 (6.3.17b) 


Fv) = P(O) -FO + SoBe 


= f(E) ~ f@)Jvt TB 
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= f(z) ~ fi (Ts + 50" Be, 
X 
Piv) = Fiz), 
所 以 ， (86.3.17b) 的 第 -- 式 变 成 
f(z) = f(E) — yS (Bs 十 se" Be. (6.3.23) 
类 似 地 ， 从 (6.3.20c) 和 (6.3.19c) 可 知 ， (6.3.17b) 的 第 二 式 变 成 
Pe) T+ sh /y= PET - oT B, (6.3.24) 


上 式 可 以 写成 
Bu—r (6.3.25) 


其 中 
rT = B'(0) Po) = FEI - fI + sh fy. {6.3.26) 
这 样 ， 我 们 得 到 了 J A, B 应 满足 的 条 件 


Bu=r, Jo= ys hv=m1—”, (6.3.27) 


其 中 7 由 (6.3.26) 定义 ， (6.3.27) KAY RUMAH. HH, 3 
一 了 一 .7 一 1 时， 广义 氢 牛 顿 方程 就 是 通常 的 拟 和 牛顿 方程 


这 时， v=s= r-T, r= f(E) f(r), 
由 (6.3.27) (ii) #1 (i) 式 ， 有 


[J+ sh’ yw 一 3， 
使 得 i 
vT Bu =v = (yf (T) — f(r)/y)s S ys, 
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其 中 
y= f(z)? = f(x)" /y- 
将 上 式 代 入 (6.3.23), 得 
PF (Bs +2 If le) — Fa] + fes = 0, (6.3.28) 
why 的 二 次 三 项 方程 . 为 使 + 是 实 的 ， 7 必须 满足 
2 = (f(8) He? Es e)s) 2 0 

Ht B 正定 ， 

eT Bo = 170 = (1f'@) ~—S'@))s = £20, 


因此 取 y A (6.3.28) 的 最 小 正 根 ， 


-一 es 
y= FI fF Tp (6.3.29a) 
一 f(s) ~ fF) +o (6.3.29b) 
— P(E)s 


对 于 一 锥 情形 ， 相 应 的 锥 模型 方法 的 迭代 算法 如 下 : 
算法 6.3.1 

1) 给 出 rna, 计算 fi, ff. 

2) 对 于 上 = 1,2,.…. 

(1) 令 wear = Tr + Bk 

(2) 求 rtis fipa; | 

(3) & pe = (fe - fin (天 SR lss , 


Ya = —S nse! fe — Seti t+ padi 


(4) seat = Spf [O/R fia) — 1]. D 
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6.3.3 ”校正 关系 式 


根据 广义 所 牛顿 方程 (6.3.27) 以 及 所 希望 的 其 它 准则 ， 可 以 得 
到 JAB 的 校正 关系 式 . 设 W 是 以 前 的 调 比 搜索 方向 的 线性 张 
成 ，W = span {YY,v}. 一 个 自然 的 要 求 是 在 子 空间 W 上 新 的 调 
比 沙 数 与 旧 的 调 比 函数 一 致 ， 即 


Plwy) =yplw), Vwe Ny CW, (6.3.30) 
HH, No={wew:lt+hlw> 0}. 条 件 (6.3.30) 立即 导致 
z(w-~-v)=atw), Wwe No CW. (6.3.31) 


由 于 (一 0) = z, #0) =F, $ 


E(w — v} =2(0) + ea i 
he (w -uil | 
Ju Flw —v) ay p 
= 一 + = 6.3.37) (i 
e+ or 人 327) (it 式 ) 
= -T — 
-r+ Julh w7) ET 
how+y 
ae 起 I (h (6.3.27) (i) 起) 
(6.3.32) 
FH (6.3.31) # (6.3.32), 有 
Ot she jw n Je . 
+r = = tt. (6.3.33) 


ow =ap,p € No CW, € [0,1], HAR bat Pe AE a BY 
系数 ， 立 得 
(J+ sk )p=-7Jp, Bop = yh" p, 
因此 得 到 | | 
(T — sh yw = yJw (6.3.34a) 
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h w= yhTw, vw ew. (6.3.34b) 


J 
“一 证 
故 一 日 天 满足 (6.3.34b), MI (6.3.34a) 成 为 
CF + yasht jw = ydw, 
从 而 有 
l F= yJ — shT). (6.3.35) 


显然 ， 它 满足 Ju = ys 和 (6.3.34a). (6.3.35) 是 关于 J 的 校正 关系 
式 . 
下 面 考虑 求 HERR. HP AWE 


R w= yhlw, hv —1—7, (6.3.36) 
现 令 四 是 风土 的 直 交 投影 算 子 ， P=I-Q. 设 
五 二 Qe 一 Pd， c,d 为 任意 向 量 ， (6.3.37) 
Aw? EREA 8 


-T 
yh w= h w = wT Qes cT w, 


故 取 e= yh. BH oT 23 (6.3.37), 


L—y =h v= yul Qh tel Pd. 


TE. 
~T L- y- yT Qh 
h v= lyy | T pd. 
v v= yu QA oT Pd ut Pd 
因此 ， 取 ， ron 
T ZY w 
= QR + rpa ~ Pd, (6.3.38) 
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LE 


TPd 关 0 时 ， 它 满足 (6.3.36) PHAR 这 样 我 们 得 到 了 关于 
h 的 校正 关系 式 . 
利用 (6.3.19b) 和 (6.3.19cj 由 (6.3.34a) 可 得 


+ : 
PO Rw 
~ 


ELON 
> 


F'(-v)w = 


= f (edw 
= y' (0j. (6.3.39) 


7 BETA RY ARAK Hesse 和 矩阵， 我 们 加 上 下 面 
的 要 求 : 


wl — v) = piw), (6.3.40a)} 
Piw —v)q = b'(w)q, (6.3.40b) 


vuga W. 条 件 (6.3.40a) 意味 着 
P10) + PO ~ o) + 5 (w — o) Blw — o) 
= p(0) + p" (0w + Zu Bu, vw E W. 


整理 一 下 ， 上 式 即 为 


[Bo -p0 + So? Be p(0)] + Ep (0) — #00) -eT Bw 


1 — 
+ zw (B - Bjw=0, wp E W. 


由 (6.3.23) 知 ，. 上 式 去 边 第 一 个 括 导 为 霉 ， 几 (6.3.34a) 和 (6.3.24) 
A, ELAPUWBOPES AS, Bill, 


w(B- Byw=0, vw ew. 
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类 似 地 ， 条 件 (6.3.40b) RRS | 
[# (0) + (w — v)” Bla = [9"(0) + w” Bla, 
Bp 
[p (0) - (6) — oT Blg + w” (B — B)g=0, Yw,g E W. 


由 (6.3.34a) 和 (6.3.24) 知 ， 上 式 左边 第 一 个 括号 为 零 ， 上述 讨 论 
表明 , 4B M4 


wl (B-B)g=0, Yw, ge W (6.3.41) 


时 ， (6.3.40a) 和 (6.3.40b) 者 满足. 因此 ， 所 要 求 的 B 的 校正 满足 


Buyer, wlB- Bo=0, Yw, E W. (6.3.42) 
上 式 也 可 写成 
B=Uo(B,v,r) 
~ Bonn OF ponn Batt 
QE W 上 的 直 交 投影 矩阵 . . (6.3.43) 


这 里 ， 增 加 的 要 求 (6.3.40) 产生 了 B 的 校正 类 (6.3.42), CAF 
Schnabel (1977) 研究 的 校正 公式 类 : 


{B | Bv = r, (B — Bw = 0, Yw € WB HER 


也 包括 Davidon (1975) 提出 的 最 优 条 件 投影 校正 ， 
综 上 所 述 ， 关 于 LAB 的 一 类 校正 公式 为 


J = (J — shT), (6.3.35) 
r 1 一 了 一 Te Qh i 

h = yQh + py Ph ‘6.3.38) 
wi(B-B)g=0, Ywig € W. (6.3.41) 
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6.3.4 Hitt BFGS 算法 


Sorensen (1980) 给 出 了 共 线 调 比 BFGS 算法 ， 在 (6.3.35) 、 
(6.3.38) 和 (6.3.41) P, $ Q=0,P=1,d=7' 9,8 =F-2, 
y=~g—9/7, 则 具体 的 校正 公式 成 为 


J =F 一 sh"), (6.3.44a) 
二 1 ~ YT 
h= (a ) I 9, (6.3.44b) 
_ vv- Hr)? (v— Hrje? 
H=H + yfr vTr 
7 工 { 亿 Hr) ~ 
一 一 vue. (6.3.44c) 


它 称 为 共 线 调 比 BFGS 公式 ， 类 似 地 ， 可 以 得 到 若干 其 他 共 线 调 
比拟 生 顿 公式 . Davidon (1980) 指出， B+ Broyden RH ay LAE 
照 共 线 调 比 的 方式 构成 共 线 调 比 Broyden 族 . 

进一步 ， 令 

C=IHY, C=JHIT, y= xy- g/, (6.3.45) 

容易 得 到 

C= VI sy? /sTy)\CU — ys /sy) + s87 /siy). (6.3.46) 
这 样 ， 我们 只 常 将 C 校正 为 Ci 而 不 一 定 要 分 别 将 I. A 校正 为 
J. AT. © ‘ 
« +i (6.3.13), 调 比 方向 为 


8 = ee dhE thar = Hpi de gi 
k+1 TAL, een k+1 eet (TE k+l k+l EEES 
_ -Jey Hes dE gett 
L(t —-yeoe Japa Hes JE get: f YRI sk 


a — Tot He sey oes 
A+ bya 
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全 一 k4 R41 gk) . ` ` (6.3.47) 
AIH BUDO Fe FUR HK : 


Zhil 一 人 一 外 CC 天 ，， . 


Spar = — (1 — Yelok Crsigesi/ Yeh Sk. 


下 面 我 们 给 出 共 线 调 比 BFGS 算法 . 


算法 6.3.2 
步 1 a HH a) be BY HE: £0, ĉa, Oo JEE), Gmax > 0, 计算 Jo, go, 
& k=0. 
P2 WME ór <0, $ T= minlena: l/s) Fill, SF = 
mar. l 
对 函数 
I 
pla) a f(a — a: riran) 
进行 线性 搜索 ， 求 出 az € (O,a). > 
1 
Sk = OK 6 Te abp ow 


PRL 5 Ek + Sp, 
fen = f{2k+1h Jiya = Firka 
= (fr — fei)? ~ (gipar) (of ox), 
使 得 o2 > 0 fegi < fae 
步 3 MRP RSE, ME. 
步 4 计算 
oye =gh sef Cfr — feri HA Yk = YhIkyl— Jaf Yk: 
Ceri = YA (E — seve /SL yr) Ch (T — yes /sl yr) + seat sigil, 
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beet = —(1 — Ye lok Cert gh+1/ Vege Sk 


4Sk=k+1, 4 2. o 

按照 Dennis 和 Moré (1974) 关于 BFGS FIE Eak Aora 
以 证 明 共 线 调 比 BFGS 方法 产生 的 序列 {xz} Q- BAPE aR a, 
即 满足 


fim [ze = 2 /es e] = 0. 


进一步 ，Di 和 Sun (1993) JEH T ERD HE BRD A- 
Br 表示 极 小 点 的 当前 近 羽 ， 并 设 


S=f(z), 9= glz) = Vx). (6.3.49) 
FH, flats) 的 二 次 模型 表示 为 
pls} = +9 s+ 387 As, (6.3.50) 
其 中 ， Ae R™*” 是 Hesse 近似 ， f{e+s) 的 锥 模型 表示 为 


wls) = f+ g's 1 siAs 


Toate + 3a? s)?’ (6.3.51). 
其 中 ， ac R” 是 水 平 向 量 使 得 1 - a7 s > 0. 
锥 模型 的 信赖 域 子 问题 是 
min{v(s) | || Ps] < A}, (6.3.52) 


其 中 DD 是 调 比 矩阵 ， A 是 信赖 域 半 径 . 上 述 子 问题 已 可 以 写成 


1 . 
min f +g Jw + ~w B 
f+9 Jwt zw Bw (6.3.53) 
st. s=Jw/(lt+hw), ||Dsll < A. 


对 于 问题 (6.3.52) 和 (6.3.53), Di 和 Sun (1993) 讨论 了 解 的 充分 必 
要 条 件 ， 络 出 了 锥 模型 的 信赖 域 算法 ， 并 建立 了 算法 的 耻 和 伍 性 和 
Q- AR PEI UE E. 
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第 七 章 “ 非 线性 最 小 二 乘 问题 


§7.1 FERIR DAHA 
这 一 章 我 们 研究 解 如 下 形式 的 非 线 性 最 小 二 乘 问题 


min f(z) = 5r(zjzr(z) = TS ital, men, — (71.1) 
24 


E r: R 二 R” 是 z 的 非 线性 画 数 .如果 r(x) 是 线性 函数 ， 则 
问题 (7.1.1) 是 线性 最 小 二 乘 问题 . 

非 线性 最 小 二 乘 问题 可 以 看 作为 无 约束 极 小 化 的 特殊 情形 ， 
又 可 以 看 作为 解 方程 组 


rife) =0, t#=1,---,m, (7.1.2) 


ri(z)] RARER. “Amor, HBA (7.12) 称 为 超 定 方程 
组 ; 当 m 一 n 时 ， 方 程 组 (7.1.2) 称 为 确定 方程 组 . 

非 线 性 最 小 二 乘 问 题 在 数据 拟 合 ， 和 参数 估计 和 函数 志 近 等 方 
HARSH. Ain, RNB SRE (ty), i 二 1,…,m, WA 
MIA S(t, 2), CE x 的 非 线性 函数 . 我 们 要 求 选择 x PAWS HK 
数 ol c) 在 残 量 平方 和 意义 上 尽 可 能 好 地 拟 合 数据 ， 其 中 残 量 为 


rile) = O(ti,2)—yw, t=1,---,m, (7.1.3) 
通常 m > n. RF RASFARE p RAA (7.1.1). 
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HP te (7.1.1) 有 特殊 结构 ， 央 此， 可 以 对 一 般 的 无 约 
东 最 优化 方法 进行 改造 ， 每 到 一 坚 更 有 效 的 特殊 方法 . 
设 Jiz) Æ rir) 的 Jacobi HE, 


form ore 

Ax, on, 
J= : 7 : ， (7.1.4) 

站 rm Orm 

Ox1 i Tn 

A F(z) 的 梯度 为 
g(a) = > ri(z)Vrila) = Tr)Tr(z), (7.1.5) 
i=] 


Fiz) 的 Hesse 4E pE 34 


Glz) = SO(Vrifz) Veja)? + ri(s) Vri (2) 
i=} ` 


= I(x)? F(z) + 8S), (7.1.6) 

RH . 
Sz) = 》 rile) VP rife), (7.1.7) 

izsl 


dt, BRER f(z) 的 二 次 异型 为 
| mala) = Fee) + gler)” (2 — zr) + 3 — re)” Gr) — 2x) 
= FrEE r(e) + Ten)” rei) Ce ze) 
+E en} (Ie)? Ian) + Sau) (a -ab vas 


从 而 ， 解 问题 (7.1.1) 的 牛 瑚 法 为 
Seer = Be ~ (Ire)? Hær) + Slk) Tek)r(zhh) (7.1.9) 


从 第 江 章 可 以 知道 ， 在 标准 假设 王 ， (7.1.9) RAAR pria E 
Me. 但 是 ， 上 述 牛 顿 法 的 主要 问题 是 Hesse 矩阵 G(r) 中 的 二 阶 信 
BO Si) 通常 难以 计算 或 者 花费 的 工作 量 很 大 . 而 利用 整个 Gie) 
的 制 线 近 似 人 也 不 可 取 ， 因 为 在 计算 梯度 g(a) 时 已 经 得 到 (2), 这 
E. G(r) 中 的 一 附 信 息 项 F(a)? (2) 几乎 是 现成 的 .鉴于 此 ， 为 
TRL. 获得 有 效 的 算法 ， 我 们 或 者 忽略 Sfz), 或 者 用 一 阶 导 
SoG HI 5(z). 由 (7.1.7) 可 知 ， 当 rifz) 接近 于 零 或 者 riir) 接 
近 线 性 函数 从 而 Y2ri(z) IFS, S(r) 才 可 以 和 忽略， 对 于 这 
类 问题 ,通常 称 为 小 残 量 问题 ， 香 则 ， 便 称 为 大 残 量 问题 . 


37.2 Gauss-Newton 法 


在 这 一 节 ， 我 们 介绍 Gauss-Newton 法 ， 它 相当 于 在 目标 函数 
的 二 次 模型 (7.1.8) 中 忽略 Cc) 中 的 二 阶 信息 项 5(z)， 这 样 ， 
{7.1.8) 成 为 


Mala) mirlar) riri) + (J(e) rlan)" ~ wk) 


+ Fle TETINE ~ aa), 
(7.2.0) 


从 而 (7.1.9) 成 为 
Petr = te ~ (Flee) Jle) J (err (ws) 
_ ae + Sh. (7.2.1) 


这 里 sp = (Jer) Jle J lze (ep). 因此 ，Gauss-Newton 法 
HIS A KARS 
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WH 7.2.1 (Gauss-Newton 法 ) 


SH Ok KER: 
(a) MI (2n)7 I(xe)S = —J(re)r(ae) 得 sx; 
(b) & tri = tk + Bk- J 


模型 (7.2.0) 相当 于 考虑 r{z) 在 zs 附近 的 仿 射 模型 
Myle) = riep) + J (ra) — wr), (7.2.2) 
从 而 求 线性 最 小 二 乘 问题 
min >! Malae)? (7.2.3) 


的 解 . 从 造 代 . (7.2.1) 可 以 看 出 ， Gauss-Newton 法 仅 需 残 量 函数 
riz) RB Rae. HB Jo J) 至 少 是 正 半 定 的 . 

由 于 牛顿 法 在 标准 假设 下 是 局 部 二 阶 收敛 的 ， 因 此 ， Gauss- 
Newton 法 的 成 功 将 恢 赖 于 所 忽略 的 Gr) 中 的 二 阶 信息 项 Siz1 在 
G) 中 的 重要 性 . 下 面 的 定理 证 明了 ， 如 果 5S(xw*) = 0, 则 Gauss- 
Newton 法 也 是 二 阶 监 伍 的 ; 如 果 Slz*) 由 对 于 aTa 是 小 
BJ M Gauss-Newton 法 是 局 部 O AHEM. 但 是 ， 如 果 SER 
K: IM Gauss-Newton 法 可 能 不 收 伐 . 

下 面 定 理 的 证 明 方 法 类 似 于 牛顿 法 的 收 仑 定理 3.2.1. TEE 
牛顿 法 中 我 们 给 出 了 几 种 典型 的 证 明 方 法 一 样 , 关于 Gauss-Newton 
法 的 收 化 性 , 我 们 也 将 给 出 两 种 典型 的 证 明 方 法 . 仔细 搞 清 这 些 方 
法 的 证 明 思 路 和 技巧 ， 对 研究 各 种 选 代 法 的 收 第 性 理论 是 十 分 有 
aah. . 

定理 7.2.2 BEC, ot HERERO AM (7.14) 的 
局 部 极 小 点 ，J{x*)*J(z*) 正定 , 假设 Gauss-Newton 法 (7.2.1) 产 
生 的 点 列 收 敏 于 z*, 则 当 Gle) 与 M2) F(x) 在 z* HORA 
Lipschitz 连续 时 ， 有 


læra = e*l SETI ET Hse) les — 2 
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+ Oz — 2° ||). (7.2.4) 
征明 HF Giz) & Lipschitz 连续 , k Jœ) J (2) 与 S(z) th 
是 Lipschitz 连续 ， 故 存在 a, 0,7 > 0, 使 得 对 于 x* 的 邻 域内 的 任 
意 两 点 2, y, 有 
WITI E) — J) TO S alle — vll, 
Sie) ~ Sl s Alle — yh, (7.2.5) 
ESIE — Fw)? FW) < ve — vll. 
由 于 fe C?, A GfzjLipschitz 连续 ， 故 
glar +8} = g(r) + Glogs + OW). (7.2.6) 


事实 上 ， 由 Tayior EF. 


Gite + 8) = gilr) + Y Gilaz + hs)sy, 8; € (0,1). 


jel 
于 是 ， 


glar +8) — gilar) $ Gizlaa)s; 
Z 


= [G(r + 0:8) — Gij(ze) 83. 
jal 
由 于 G(x) Æ Lipschitz BS, BOHRA i, 7, 有 
Gals) — Gyi) < alle — yll, 
从 而 


mh 
g(x + $) ~ g(xk) — $ Giy(ae)a5| < anllall?, 
f= 
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这 表明 (7.2.6) 成 立 . 
H hg = Zk 一 Z1, 令 5 二 一 hy; 得 


0 = g(2*) = glzx) — G{zn)hye + OU hr?), (7.2.7) 
将 (7.1.5) 和 (7.1.6) RA Ext, & 
I(t) rlar) — (hze) Jak) + Sier) he + O(lhkll?) = 0. (7.2.8) 


设 zk 在 r KARA., HEREJE 1.2.3， 对 于 充分 太 的 k, 
Jir) J(e) 正定 ， 当 zk 充分 靠近 mr h, CF (en)? Fen) 上 有 
界 ， 且 有 
IF (ex)? Fee) < 2I|(F (a7) EH (7.2.9} 
FE H (J(e) J(e) TI HED (7.2.8) HEH 
=s — hy ~ (J (E) I(x) See )he + Olhe) = 0, (7.2.20) 
注意 到 sx 十 Ay = (ht1 一 2%) + (Ek 一 z*) = 了 KA1 7 t“, 则 得 


[te+1 —z™ |] < IF (ee)? F(x)" Sterle — 2*|| + Osx —274]?). 
(7.2.11) 
今 由 (7.2.5), 并 利用 (7.2.9), 得 


[NEk Tr) Slr) — (Tr) Jia") *8(2"} | 
SHer) IE) Sen) — (F(a)? Flee) Sah 

+ IF x)? IETS (a) ~ (To) ENESE 
SAIET Ie Hle — e*l + liS ler — 2" 


SBAI ETIE + ys a") He — e*lh 
(7.2.12) 
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于 是 ， 
II 7a)? Tz) Ser) IIe — x"| 


Eq CE 
7.2.13) 


将 (7.2.13) 代入 (7.2.11) 便 得 结果 (7.2.4). 口 
定理 7.2.3 Bf: DcR SR fje’, DAA. $ 
J(z) Æ D E Lipschitz 连续 ， 


lI) -IAN < vile — yl], Vang € D- 


又 ||J@)e < œ. Vee D. MERE z* < DHA s 20, 使 得 
J (x")Tr(z*) = 0, 入 是 Jlz")77(z*) 的 最 小 特征 值 ， 

NT) — J) r(@" lle < ellz- slz Vee D. (7.2.14) 
如 果 = <A, 那么 对 任何 c E (1,A/o), 存在 = > 0, 使 得 对 任何 


ro € N(z*,c}, 由 台 anss-Newton 法 (7.2.1) 产生 的 序列 有 定 人 六 ， 并 
WORE zx, HRE 


ler = el < Ser — 2+ SF ire ~ oP (7.2.15) 
和 co 十 入 
2 
证 明 ”证 明 用 归纳 法 ， 由 定理 条 件 ， 假 定 和 > > 0,ce 
(1 Me) 是 一 个 常数 ， 为 方便 起 见 ， 用 Jaroor" SIER Jz), 
r(zo), r(z"). 由 摄 动 定理 1.2.3 可 知 ， 存 在 si > 0, 使 得 IZ Jo AR aT 
异 ， 并 满足 


le 一 zz lm 一 z < flex = 2". (7.2.16) 


WIE Foy“ << cf\. 对 于 xo € N(a*,€1). (7.2.17) 
设 aco | 
。 — ceg 
€ = min fer, cory \, {7.2.18} 
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其 中 y 是 Lipschitz 常数 ， 于 是 ， 在 第 一 步 选 代 、 zx1 AEX BE 
zl 一 2 二 20 一 2 — (JI Jo de fo 
= 一 (好 Jo [Je ro + JE Jo(x* — ro)] 


= (JE In) HEr" — Jd (r* 一 ro — Jole" — oih 


(7.2.19) 
-由 定理 1.2.12, 
I ~ ro — Jol" — zo)il < zllzo 一 和 | (7.2.20) 
PSHE J(z*)Tr(z*) = 0 和 (7.2.14), 有 
Hor" = Io- Te) Tr < ole ~ a (7.2.21) 


利用 (7.2.17), (7.2.24), (7.2.20) 和 [Jol] < œ, 我 们 从 (7.2.19) 得 到 
læ — 2" |] < IE Jo) (2a 7" + olll — ro ~ Jo(x* 一 so) 用 
< É (ølleo - 2° || + Z fzo — 2H"). (7.2.22) 
它 证 明了 (7.2.15) Æ k = 0 时 成 立 ， 从 (7.2.22) 和 (7.2.18), 有 


: a fCF CO ` 
ler = a*i] < izo = 2" I(S + Fo leo - e*l) 


< jzo ce 全 二 azry 


24 
ea +h 
= 一 一 |zo 一 zi < ze — 2* |], 
24 (7.2.23) 
它 证 明了 《7.2.16) Æ k = 0 时 成 立 . 利用 归纳 法 对 一 般 的 证 明 与 上 


面 完 全 相间 ， 从 而 绪论 成 立 . 口 

定理 7.2.4 HEM 7.2.2 或 定理 7.2.3 的 假设 条 件 成 立 ， 如 
果 ròc") = 0, 则 存在 se > 0, 使 得 对 于 任何 xo © N(x”, ©), H Gauss- 
Newton 法 产生 的 序列 {2,} 收 钱 到 z*, 且 收 全 速度 是 二 阶 . 
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证 明 “对 于 定理 7.2.2, 如 果 rlz*) = 0, W Se") = 0 从 
而 由 {7.2.4) 立即 得 到 二 阶 收 人 证 性 ， 同样 地 ， 对 于 定理 7.2.3, 如 果 
r(x") = 0, Ñ] (7.2.14) 中 o 可 取 为 0, 因而 由 {7.2.16) 知 序列 {zk} 
We Bel) 2*, 从 (7.2.15) 立即 得 到 二 阶 收敛 速度 . q 

Gauss-Newton 75 42 AAR: Se hs — FR 1 EARN A E- 
下 十 的 例子 清楚 她 表明 ， 它 能 很 好 地 处 理 一 般 小 残 量 问题 . 

fill 7.2.5 


min f(x) = (x +1)? + (Aw? + g —1)?. 
这 里 2 = 1,m = 二 2, zw* = 0. WẸ à= 0.1, WH Gauss-Newton 先 
代 得 到 下 面 的 选 代 结果 : 


Æ 7.2.1 WH 7.2.5 的 Gauss-Newton 法 


epp 2 | 3 4 5 6 
Eh 1 0.131148 6.013635 ] 0.001369 0.000137 0.000014 


上 述 结果 表明 ， 当 入 = 0.1 时 ，rfzy 中 的 非 线性 程度 很 小 ，Gauss- 
Newton 法 工作 得 很 好 . 这 时 的 Gauss-Newton RE 
2A L] + Ar? + 2Aay 

1+ Arp +1)? 


k++1 二 


当 和 = 二 0 时， 则 zxy1 = 0, 这 时 所 给 出 的 问题 是 线性 最 小 二 飞 问 
题 ， Gauss-Newton 法 一 步 即 可 达到 极 小 点 AX SORM, Bay 
充分 小 ， 则 有 

zey = ALE + Of |jara||?). 


因此 ， 收 敛 速度 是 线性 的 ， 当 [Al > 1 时 ， Gauss-Newton pH 
Ea. a] 

这 个 例子 告诉 我 们 : Gauss-Newton 法 仅 当 初始 点 zo 接近 z* 
HERE Siet) 是 小 的 情况 下 ， 才 是 有 价值 的 . 

下 面 ， 我 们 给 出 Gauss-Newton } Hw A : 

优点 : 

(1) 对 于 零 残 量 问题 ( 即 r(x*) = 0), 有 局 部 二 阶 收 敏 速度 . 
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(2) 对 于 小 残 量 问题 (BURR r(e) 较 小 , R ri) 接近 线性 ), 有 
快 的 局 部 收 敦 速度 ， 

{3) 对 于 线性 最 小 二 逆 问 题 ， 一 步 达 到 极 小 点 . 

缺点 : 

{1) 对 于 不 是 很 严重 的 大 残 量 问题， 有 较 慢 的 局 部 收 敏 速记 

(2) 对 于 残 量 很 大 的 问题 或 r(x) 的 非 线性 程度 很 大 的 门 题 ， 
ARNE BE. 

(3) 如 果 Jc.) 不 满 秩 ， 方 法 没有 定义 ， 

(4) 不 一 定 总 体 收 敛 . 

在 实际 上 , 我 们 采用 的 Gauss-Newton 靶 往 往 加 上 线性 搜索 策 
me. Bp 


k+ = Tk 一 Gp J (rn)? Herp J(e rza), (7.2.24) 


其 中 ar 是 一 维 搜索 因子 . 这 种 方法 称 为 阻尼 Gauss-Newton 法 . 
如 前 所 述 ， 阻 尼 Gauss-Newton 法 由 于 采用 了 线性 搜索 ， 
证 是 标 酒 数 每 一 步 下 降 ， 对 于 几乎 所 有 非 线 性 最 小 二 乘 问题 ，- 
都 具有 局 部 收 合 性 ， 事实 上 上 ， 从 一 维 搜 索 理 论 我 们 已 经 知道 ， ae 
Gauss-Newton 74 E BA ATK. 尽管 如 此 ， 对 于 某 些 间 题 ， 
它 仍 然 可 能 收敛 很 慢 . 


87.3 ”Levenberg-Marquardt 方法 


在 Gauss-Newton 法 中 ， 我 们 要 求 J(2*) BURR. ERN 
是 ， Jo") 吞 异 的 情形 常 党 发生， 使 得 算 潜 常常 收银 到 一 个 非 驻 
A. 一旦 J(z*) 奇异 ， 则 在 距离 解 点 的 某 处 ， 54 与 o 使 数值 上 
Ax. 这 样 ， 由 线性 搜索 便 得 不 到 进一步 下 降 , 而 只 能 得 到 极 小 点 
的 一 个 差 的 估计 . 

为 了 克服 这 些 困难 ， 考虑 采用 信 闲 域 策略 . 其 理由 是 : 通常 
rir) 是 非 线性 函数 ， 而 Gauss-Newton 法 用 线性 化 模型 (7.2,2) 代 
E 7?(z)， 得 到 线性 最 小 二 去 问题 (7.2.3)， 这 种 线性 化 并 不 对 所 有 
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(一 zs) 都 成 立 ， 困 此， 我 们 考虑 约束 线性 最 小 二 系 问 题 ， 邯 考虑 
信赖 域 模型 : 


min ||r(zp) + J (re) (E 2]la， 
s.t. |e — rele < Ae. (7.3.1) 
由 §3.6.3 的 讨论 我 们 已 经 知道 ， 这 个 模型 的 解 可 以 由 解 方程 组 
(F (zg)? FT (ae) + prt)s = — J lap) riep) (7.3.2) 
来 表征 ， 从 而 
Peya = Ep (FER)T Tee) + pal) IJ (ag) rag). (7.3.3) ° 


如 果 || Flee)? (ae) F(a) rca) < Aa, I py = 0; AY we > O. 
由 于 (Jle Swe) t+ uel) 正定 ， 放 (7.3.2) 产生 的 方向 s 是 下 降 方 
向 ， 这 种 方法 是 Levenberg (1944) 和 Marqurdt (1963) 提出 的 ， 称 
为 Levenberg-Marqurdt 方法 (简称 L-M 方法 ) 我 们 在 $3.6.3 已 经 
对 L-M 方法 作 了 讨论 ， LM 型 方法 有 很 多 不 同 的 算法 ， 存 算法 
3.6.4 中 ,我 们 利用 oe 来 控制 千代 ; 在 算法 3.6.1 中 ， 我们 利用 Ar 
REBAR 在 下 一 节 我 们 将 详细 描述 目前 在 L-M 型 方法 中 最 成 
功 的 Moré 算法 {其 程序 收入 MINPACK #2 FF fa 1). EERI 
MEHE L-M 方法 的 一 些 性 质 和 收 误 性 定理 . 
设 s= slu) 是 


(JTJ + pis = -J r= -g (7.3.4) 


H ZE J= I(x), r= r(e), 9 = g(z). 
定理 7.3.1 当 几 从 0 RAAT. eG] 严格 单调 下 降 - 
WERA 


d d d 
agll = ane 3) = 一 “上 上. (7.3.5) 


- 383 - 


微分 (7.3.4), 得 ， 
OTI +e 和 = 一 5 (7.3.6) 


这 样 由 (7.3.6) 和 (7.3.4), 有 


ds 
dy 


将 上 式 代 入 (7.3.5), 得 


= (JTJ + pI) yg. (7.3.7) 


gh (FTI + aD) yg 
| Tel 
- 420,37? F 4+ pl 正定 时， 上 式 表明 js(p) 严格 单调 下 降 . 


定理 7.3.2 8 和 一 g 的 夹 角 绅 随 着 六 增加 而 单调 非 增 . 
证 明 ARA yE 


d 


口 


g's 
iait 


于 是 , 我 们 只 变 证 明 (d/d y){cos4) > 0 BPT. 利用 (7.3.4) 一 [7.3.8)， 


cosy = (7.3.9) 


| gis alls 
— {cos y) = dp 9 ， du 
du”) = Toi + Tolitell Te 


ol 
~ Tiglliisil* 


+ (gh (ITS + uD g)(gh (ITI + p17) 3g)). 
(7.3.10) 


{-(g? (STF + aI?) 


这 样 , 我 们 只 要 证 明 (7.3.10) 右边 花 括 号 内 的 部 分 是 大 于 等 于 0 就. 
行 了 . 
因为 JTI 是 对 称 矩 阵 ， 故 存在 直 交 矩阵 Q, 使 得 
JTJ = QTD, 
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TE, D= diag, An) & o = Qa, W (7.3.10) 右边 花 括 号 内 
的 部 分 可 以 写成 


3 j { 一 Uk + vjuk } 
joi k=1 (Ag He) Akta (A + ar + a) 
Ot Ay + wk + a) 


{H L I } 
(Apt ent) Agte (Art uy 


7 z uz Uy 1 1 2 

rl ve >0. 
结果 得 证 . 口 i 

定理 7.3.3 ” 当 z = sf 站 时 ， 二 次 型 了 (Je 一 rv) (Je 一 站 在 
球面 zl = leu) 上 达到 极 小 . l 

WER 因为 sf Æ (7.3.4) 的 解 ， > = osla) 由 Lagrange F 
法 (HL §3.6) 可 知 ， (7.3.4) 可 以 由 极 小 化 问题 


min g(a} = ige =r) (Jz 一 7) 
s.t. æli = leto 


来 表征 ， 从 而 结论 得 到 . = 
L-M 方法 常常 用 下 述 方程 组 表征 ， 


(J(u)? Tee) + prDr(wh))s = — J (re) r(t, (7.3.11) 


这 里 Dx 是 一 个 正定 知 阵 . 步 长 因子 由 Armijo 准则 (2.5.2) 确定 ， 
Bp 
F (te + apse) < flax) tragisk, oE (0, >} "o (7.3.12) 
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定理 7.3.4 ”对 于 (7.3.11). JTJ) + 4D 的 条 件数 是 的 
非 增 函 数 . 

证 明 设 8 和 有 分别 是 五 的 最 大 和 最 小 特征 值 ， 和 和 An 
分 别 是 J7 74+ uD 的 最 大 和 最 小 特征 值 ， 设 pa > Ha 20, 由 于 正 
规 窗 阵 的 值 域 是 其 谱 的 凸 包 ， 喜 我 们 有 

Ala) o- Alpa) + (ar — e2) 

Anlk) T Anfa) + (pi — $2) Bp 


Alez) + (Ha — ma XI + Ho) NH) Ar (Ha) 
Anla) + (41 — a1 + ua) Anf) Ante) 


从 而 结论 得 到 ， 口 

这 个 性 质 定理 表明 了 L-M 方法 改善 了 所 要 求解 的 方程 组 的 条 
+F. 

Fi. Fees L-M Ayaa. . 

定理 7.3.5 设 {zi} 是 由 L-M 方法 (7.3.11) FEDERE 
列 ， 步 长 因子 由 Armijo 准则 (2.5.2) 确定 . 如果 存 在 一 个 子 序 列 
{te} MERE) z*， 且 对 应 的 子 序列 {JE dJe + te: De} RAT 
Te BRE P, 其 中 ， Je = I (ee, ), De; = D(x) BRIERE A 
RE, MRA. g(a") = 0, 

证 明 (RHEE) 假定 g(a") #0, 设 


& 


= 


Se, = (JE Je, + ta, De.) JE Tki 
9* = lim sy, = ~P7)J(2*)" r(x"), 
其 中 re, = rlen). BM, gle*)Ps” <0. HG € (0,1), o € (0, 5) 
设 rm* 是 使 得 
fe" + 87s") < fle") + opgie") s(a") 
成 立 的 最 小 非 负 整数 m 由 连续 性 有 ， 对 于 充分 大 的 上:， 
Fee, 十 Sri) < fee.) HOB gopi Take 
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由 此 友 
Flara) = Flaw, + 87 sp) S f(a) +08” glen) Sr- (7.3.13) 
由 方法 的 单调 下 降 性 ， 有 
lim f(tq,+1) = tim 站 cp) 一 ). 
因此 ， 在 (7.3.13) 两 边 取 极限 ， 得 到 
jz < fla") + oB™ gla") s" <0, 


这 是 不 可 能 的 ， 因 为 rBm gat) <0. 结论 得 证 . J 

上 面 的 定理 拖 述 了 子 序 列 的 收 敏 性 ， 下 面 的 定理 将 给 出 整个 
序列 的 收 敏 性 . 

定理 7.3.6 ”假设 (a) 对 任意 BCR, KER 


LE) = {2| fl} < FŒ} 


A RASS; (b) f(x) 在 LS) 上 取 相 同 函 数值 的 驻 点 个 数 是 有 限 
Mis (c) Ha J) EE Ve; (d) ue < M < co, Yk, BD M Æ pr 
的 上 界 . 那么 对 任意 裙 始点 co, H L-M 方法 产生 的 序列 {er} 收 
MB f(x) 的 驻 点 . 

证 明 oH (a) PERRO RE, PS fzk} 在 紧 集 
Lz) 中 ， 这 表明 {zk} PARA. AUER, API R AM 

由 (c) (d) 和 定理 7.3.5 AT. fae} HE ARAME 由 于 
{f(zx)} 是 单调 下 降序 列 ， 可 知 fic) 在 {zx} BRR he AH E BY BG 
. 数值 ， 而 由 (>) 知 ， ftx) 在 L(a) 上 取 相 同 函 数值 的 驻 点 个 数 是 
ARH. 这 些 意 上 味 着 仅 有 有 限 个 聚 点 . 

由 于 对 某 个 子 列 {teh 有 Ek 一 他 


Jim glen) = g(€e) = 0. 
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这 时 ， 
8(tec) = (I(E) Tar) + tig Plea) g(a) 
利用 条 件 (c) 和 (d), 得 到 
sgr) > 9, 
从 而 对 序列 dlee) 也 有 
s(a) 一 0. 


今 假定 de) RAP, He 是 任意 两 个 聚 点 之 癌 
的 最 小 上 距离， 由 于 ice} 在 一 个 肾 集 中 ， 故 存在 正 整 数 N, 使 得 对 
于 所 有 天 > 时 ， 2, BTRRPRAABRD, Det /4 为 半径 的 
闭 球 中 . 另 一 方面 ， 存 在 一 个 整数 N > N, 使 得 


liste) <e"/4, Yk BN. 


Aub, “ke N 时 ， 所 有 zx 必定 位 于 上 述 那 个 聚 点 为 球 心 ， 以 
eti APE MARS. 这 与 聚 点 不 正 一 个 的 假设 矛盾 . 口 
这 个 定理 给 出 了 LM 方法 的 总 体 收 敏 性 . 
本 节 最 后 ， 我 们 讨论 L-M 方法 的 收敛 速度 . 
定理 7.3.7 设 LM 方法 产生 的 选 代 点 列 {2} 收敛 到 驻 点 


2". 设 i 是 J 了 (xz*)7J(z*") 的 最 小 特征 值 ，M È Sl) = 》 rl) 
+=1 
-ri(z*) 的 特征 值 的 绝对 全 最 大 者 .如果 


T=Mjl<1, 0<8<{(1-7)/2, He => 0. (7.3.14) 
那么 ， 对 所 有 充分 大 的 PKAS max = 1, 
<r. (7.3.15) 


AA, oo” 是 f(x) 的 严格 局 部 极 小 点 . 
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HE RA 
Fitr + se) — fler) = gisk + 5s P Gay 十 bskjsk， (7.3.16) 


其 中 ， 6 (0,1), 为 了 得 到 步 长 因子 or = 1, 根据 Armijo 准则 
(2.5.2), 需要 


Bok sk —[f(ae + sx) ~ f(an)] 0. (7.3.17) 
利用 gk = -JE Je + te De) oe A (7.3.16), 土 式 左边 可 以 写成 
(t PJT (IT Jp + ur Dr)sk — ;Ge + Osn)sk 
Saf [(t - DIE Ie ~ ZG (ar) + (1 ~ Ble De 
(Glen + O54) — G(an))] sx 
=F (5 - B) JE Jx - E S(æ) +Vil sk 
这 里 ，Vi = (1B) De~ 5(G (te + Osu) — Glee)). HT Ve > 0, 
为 了 证 明 (78.17) 对 于 充分 大 的 成立 只 要 证 明 (2 -8)JZ h - 
oon) 收 全 到 一 个 正定 矩阵 ， 注 意 到 


(5-8) se" se") — 5502") 


的 最 小 特征 值 是 下 有 界 的 ， 其 下 界 为 
人 -让 -所 -> 


这 是 因为 8 满足 (7.3.14) 中 的 第 二 式 . 这 样 , 对 于 充分 大 的 有 ou 一 
1 得 到 - 


下 面 证明 (7.3.15). 
thar — D” = rp — £* — (JE Je + pDr) Ge 
= 2, —a* — (JE Jp + AADy) [Galek ~ 2°) 
+ gg + GRIT — zp)] 
= (JE Je + pk De) [Sle (Er — 2*) 


— Hk Dy lee — 2") + ge + Griat — ZE) 
(7.3.18) 


两 边 取 范 数 ， 得 
ler = 27] SCTE Fe) NS Ce) en ~ e | 


+ pall Daller 一 2" + ilge + Gele” — r)i]. 
(7.3.19) 


由 于 
| 十 ge 一 2 让] 一 有 一 Ge 一 全 让 
S sk|lzz — z" il; (7.3.20) 
这 里 sx 一 0. 这 样 ， (7.3.19) 两 边 同 除 以 jee- 站 得 


[#41 ~ =" 


和 Sea + pl Dl + xl. 73.21) 


注意 到 jp > 0, ex 30, 于 是 ， 我 们 立即 得 到 


* 
-- M 
limsup Het" ML, 
jer- 1 


这 表明 (7.3.15) 成 立 . 
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最 后 ， 由 于 a=") = 0, 
Gla") = J(e) Te) + S(2"), 


JCBUVEE EF RE M > 0, At Gtz*) RIE, 于 是 2* 是 
f(z) 的 严格 局 部 极 个 点 . 口 


874 ”Levenberg-Marquardt 方法 的 Moré 形式 


L-M 型 方法 有 很 多 不 同 的 实现 形式 ， Moré (1978) 给 出 了 
LM 方法 的 一 个 可 靠 和 有 效 的 执行 形式 . ， Moré 算法 已 经 包含 
在 MINPACK 程序 包 里 ， 这 是 一 个 很 成 功 的 算法 软件 ， 为 了 便于 
读者 了 解 和 掌握 这 个 算法 软件 ， 这 里 我 们 详细 介绍 一 下 Moré 算法 
的 一 些 实现 技巧 . 

Moré (1978) 考虑 的 L-M 方法 是 通过 以 下 方程 组 求 出 s, 部 


a(t) = —(JE Je + pk DE De) Ji Tk (7.4.1) 
Et FA RR PERE hb aR ij EE 
min||r, + Jesel 
st. ||[Dgsl| < Ax. (7.4.2) 
WE Je AA pe = 0, RI (7.4.1) 由 以 下 极限 过 程 
Dys(Q) = jim, Des(ux) = (A.D) rk (7.4.3) 
EL. REAP REE: 或 者 pr = 0 E ||Dss(0) < Ay, 这 时 
8(0) 是 (7.4.2) 的 解 ; 或 者 we > 0 H | Dxs(ue)|| = hes 这 时 sie) 
是 (7.4.2) 的 唯一 和 解 ， 由 此 ， 我 们 给 出 下 面 的 算法 . 


算法 7.4.1 . 
(a) 给 出 hy > 0, 求 p BO 使 得 如 果 


(JE Ju + taDelsn = — JE Th, 
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则 或 者 jx = 0, [Dror] < he; 或 者 ux > O, ||Des,|| = Re. 
(b) 加 时 Ir (ze + sa) S lir(wa)l], 令 tata = Te + Se, 并 计算 
Jiri; BG k41 = Ek, Jey = ee 
(c) 选择 heyi 和 Desi. 
下 面 ， 我 们 具体 讨论 一 下 如 何 可 闺 而 有 效 地 实现 上 述 算法 ， 
(1) 如 和 何 解 线性 最 小 二 乘 问 题 . 
对 于 方程 组 


(Je Je + ERDE Dee = Ji fh, (7.4.4) 


最 简单 的 方法 是 利用 Cholesky 分 解 ， 这 种 方法 的 优 点 是 快速 ， 但 
当 ue = 9, Je UPAR, RARE TM. ARAB R 
数 矩阵 的 条 件数 很 大 ， 另 外 ， 形 成 IPI, 和 DED, 可 能 引起 不 必 
要 的 下 洪 和 上 溢 . 

另 一 种 处 理 方 法 是 把 (7.4.4) FF FRA) OR a Bi 


Jk r 
aol = lo © (745) 
的 法 方程 .对 于 (7.4.5), 我 们 可 以 用 列 主 元 的 OR 分 解 求解 ， 这 种 
处 理 方 法 可 以 避免 上 面 提 到 的 缺陷 - 


现在 ， 我 们 用 两 步 QR 分 解 方法 求 (7.4.5) 的 最 小 二 乘 解 . 
第 一 步 : 对 A 作 列 主 元 OR 分 解 ， 得 到 


全 JR = É ol ， (7.4.6) 


其 中 了 是 非 奇 异 上 三 角 和 矩阵 ， rank (T) = rank(J,), + 是 排列 和 
阵 ， 如 果 jx = 0, 则 (7.4.5) 的 解 为 


T-I 0 - 
s=7| 0 4 Qr, = J, Pky (7.4.7) 


其 中 J 表示 Je 的 {1,3} 0 WE I Ik = Se, JZ) = 
(天 天 并 (DATA. P (1991)). 如 果 pp > 0, 注意 到 (7.4.6). 
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相当 于 


J R 
s Ai a |=- 0 | ， (7.4.8) 
0 rT Hx De D, 
AR, Dy =u eT Dat, RR EERE. 这 时 ，(7.4.5) 成 
为 
ria Gr 
0 | afs=— (7.4.9) 
D, |. 0 


第 二 步 : 对 (7.49) 中 系数 年 阵 再 作 OR SR. 这 可 以 利用 
n(n +1)/2 个 Givens 旋转 实现 ， 得 到 


R R, . 
wyol= (7.4.40) 
be 


其 中 下。 是非 奇异 上 三 角 和 矩阵 ， W 是 一 系列 Givens 旋转 矩阵 的 
we. 于 是 ， (7.4.9) 成 为 


i rs = -W s] =: 四 ， (7.4.11) 


从 而 
s = -a7 Ri. o (7.442) 


(2) 如 何 校正 信赖 域 半 径 hs. 
”正如 在 $3.6 中 记述 ， 信 和 赖 域 半 径 he 的 选择 依赖 于 目标 施 数 
HY SE Ge pa A oa th. ARR DRI, APA 


p= rizal? — lrir + 8x) I/? 
llr(æ |? — lir (rr) + Fee 56 ||? 


因此 ， (7.4.13) 度量 了 线性 化 模型 与 非 线性 函数 的 一 致 程度 ， 例 
如 ， 如 果 ri) 是 线性 的 ， 则 p= i WE Jlr) rle) #0, 那么 当 
lssi ORL, pl. 此 外 ,如果 lirest sH 2 iri), We <0. 


(7.4.13) 
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HFS AREER. 利用 (74.13 计算 p 时 会 产生 溢出 ,我 
们 可 以 将 (7.4.13) 写成 一 个 保险 的 形式 ， 在 (7.4.4) PTH IAL 
s ,得 


Or? JE s = 237 Ji Jys + 2ps DE Drs, 
Rp 
tery — ri rp or Tes — sl JE Ins = 87 JE Jys + dns DE Dgs. 
我 们 得 到 
lre? — Ira + Taell? = | Es? + Bnll Drsll>. (7.4.14) 
LARA (7.4.13), 得 


In(we + sell]? 
一 | 
esl] 1 apak IDeal] 
fees) e rei j 


从 (7.4.14) 可 以 看 出 


(7.4.15) 


esl < iia, pk Desh < 和 (ze 


因此 ,在 计算 (7.4.15) 中 分 母 时 将 不 产生 上 洲 ， ARE SA 
如 何 , 这 个 分 母 总 是 非 负 的 , 应 该 指出 ， 当 riests > irie 
AY, (7.4.15) 中 分 子 可 能 产生 上 游人 得 由 于 我 们 仅 对 p 0 感光 
B. A, WÈ r(e + sr) > ire 便 令 p = 0, REAR, 
(7.4.15) 计算 p. 

一 般 地 ， 校 正 hk 的 方法 是 : 当 p 靠近 1 (BP p > 3/4) 时 ， 
前 一 个 不 小 于 工 的 常数 因子 乘 以 o RM hr; 当 p 不 靠近 (譬如 
e<1f/4) 时， 用 一 个 小 于 1 ORR PSR p 以 减少 he 在 减少 
hy 的 情形 。 Moré 算法 采用 两 点 二 次 插值 产生 一 个 因子 +. 考虑 


| = 划 rta + 4s)|[?, (7.4.16) 
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对 于 6(0),6(1) 和 5 (0) AE KREA g(r), HA 
g(0) = 80) g) = 6(1), gq'(0) = &(0). 
RH, Er BO MM. N rhe Eh, 减少 ， 但 如 果 


rg [i Eh 则 用 上 述 区 同 靠近 7 MARE r. 为 了 使 得 7 的 计 


HHE H (7.4.4), 有 


slyly ee > || Desi 
a= rir = [GY (Wir et"), 


FH w e [~1,0]. HOA RE 


(7.4.17) 


- 2° 
wo hf (Peta 


iral 


(7.4.18) 


因此 ， 如 果 eler t s) < la & r= 5s 如 果 ， 
leir + 8)|] < 10j/re ||, 
利用 (7.4.18) 计算 r; BH, Or a 


(3) 如 何 求 Lenvenberg-Marquardt 和 参数. 
在 Moré 算法 中 ， 如 果 ， 


lol < oh, o © (0,1), (7.4.19) 


其 中 

由 (一 | 有人 (JJ 十 DTD) IT ri] — h, (7.4.20) 
则 上 > 0 被 接受 为 Levenberg-Marquardt 2%, 这 里 o 指出 了 
Dasta) 中 所 要 求 的 相对 误差 ， 如果 o(0) <0, 则 请 =0 是 所 要 求 
的 参数 . 于 是 ， 我 们 仅 需 讨 论 5(0}) > 0 的 情形 . WF o Z (0, +00) 
上 是 连续 的 、 产 格 下 降 的 函数 ， 当 oo, p(w) 一 -h A 


- 395 - 


此 ， 存 在 唯一 的 u" > 0, 使 得 plt) = 0. 为 了 确定 L-M SRM, R 
TIAI wo > 0 出 发 ， 产 生 一 个 序列 {pe} u". 
由 (7.4.20), 


glu) = KT] + a) Frl] — h, (7.4.21) 


其 中 了 = JD. 设 了 = ZEZY7 是 了 的 奇异 值 分 解 ， 于是， 


gz? 1/2 
w= lara ~* “am 

其 中 s 二 UTr, o ,on 是 了 的 奇异 值 ， 因 此 ， 我 们 假定 
pln) = ia = P(x), (7.4.23) 


选择 a Ab 使 得 O(n) = pleh O(n) 二 p Cn). 于 是 ， 如 果 
(ux) th) pan 

h (ite) 
M ld = 0. 为 了 保证 上 式 计 算 的 oe BEB, Moré 算法 
中 给 出 了 计算 ee 的 如 下 算法 : 


Meet = bk 一 [ (7.4.24} 


设 
KxzD-Dzri 
D h 了 
_ ¥(0) 
w=] Poy MRT 非 奇异 
0, 否则 . 


(a) 如 果 jx E (le te), 令 
l lk = max{0.00l uk, llr) 3} 
(b) 计算 piue) 和 pfer). 校正 uk: 
| He, WR plr) < 0, 
Uk = ` 
ux, 否则. 
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校正 ty: 


ing. = max {las us 一 gien 上 

(c) 由 (7.4.24) 计算 west. 

ELRAE H, BHT we 的 上 下 界 . (2) 表明 如 果 jzi 不 在 
(les te) Po MA este) 中 的 一 个 点 代替 oe, OPA i. 在 
(b) P, p 的 凸 性 保证 了 和 牛顿 选 代 可 以 用 来 校正 有. 由 上 述 算 法 产 
生 的 序列 {jig} FACE pr. 实际 上 ， 当 取 0 SOL, FRE 
过 二 步 选 代 就 满足 【7.4.19). 

这 里 再 提 一 下 算法 中 用 到 的 o(a) TT RE. 从 (7.4.20), 有 


(Dale (ITI + uDT DY (Te) 


w= law (74.25) 
其 中 gia) = Ds(y). 从 (7.4.8) 和 (7.4.10) 得 到 
a(S? I + DT Dyn = RI Ry, 
因此 ， 
e'(u) = “ols; "(a (7.4.26) 


(4) tn ore EW SBE 
在 L-M 方法 中 ，D， FRE, ES LG 
当 ， 在 这 个 算法 中 ， 我 们 选择 


Dy = diag (dP, --- ,a®), (7.4.27) 
其 中 
dl = |lar(zo), 


和 一 max{d D parlei} ken 
(7.4.28) 
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应 该 指出 ， 上 述 调 比 使 L-M 方法 具有 调 记 不 变性 ， 也 就 是 说 ， 如 
果 也 古 一 个 对 前 正定 矩阵， 别 对 于 以 zo 为 初始 点 的 函数 rz) 和 
以 žo = Dro Yih AMAR F(x) = (Do 1x), 算法 7.4.1 产生 相 
间 的 进 代 点 列 . 

最 后 ， 我 们 给 出 L-M 方法 的 Moré BARA We Oe ER. 

算法 7.4.2 

(a) 设 Oe (0, 1}, i VDF, Tell S {1 + ojhe, 令 pe, = 0 各 
s = —Jore; Aa, BR jx > 0 HBR 


则 
(1 ~- ohx S | Dreri; & (1 ~ olhs. 


(b) 计算 且 标 函数 的 实际 下 降 与 预测 下 降 的 比 pr- 

(c) 如 果 pk < 0.0001, $ Tkp = fy AM Jepi = Sy. 

如 果 px > 0.0001, $ zk+1 = Xk + Sk, 并 计算 k+l, 

(d) 如 果 pr S 1/4, $ heyi € sate 5 Eha]. 如 果 pr E l, z] 
和 jw = 0, 或 者 如 果 pr > 3/4, 令 Agar = 2| Drssli. 

(e) 由 (7.4.27) 和 (7.4.28) 校正 Days. 

对 于 上 述 算 法 所 建立 的 收 伍 性 定理 如 下 : 

EH 7.4.3 tr: Ro R" 连续 可 徽 ， 设 {zw} 是 由 算法 
74.2 产生 的 序列 ， 则 


lim inf (J DE "rl = 0, (7.4.29) 


i+ RARE T I e BR BORE EE RADA. 如 果 i 有 界 ， 则 
(7.4.20) 意味 着 更 标准 的 结果 


lminf [JE rel] = 0. (7.4.30) 
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进一步 ， 如 果 Vr(z) 一 致 连续 ， 则 有 


lim lye rll = 0. (7.4.31) 
对 于 上 上 述 结 果 感 兴趣 的 读者 可 以 参看 Moré (1978). 
$75 W $ W # 


从 前 面 商 节 介 绍 的 方法 可 知 ， 对 于 大 残 重 问题 { 即 *(z*) 很 
K r(x) SEAR PEE RIB), IHE Gauss-Newton 法 和 Levenberg- 
Marquardt 方法 可 能 收 敦 很 慢 , 这 主要 是 因为 在 这 些 方法 中 我 们 没 
有 利用 Hesse IRE Gla) 中 的 二 阶 信息 项 Se). 但 是 87.1 BAR 
出 ， 在 实际 上 ， Sle) 通常 难以 计算 或 者 花费 工作 量 很 坟 ， 而 利用 
整个 G(s) 的 割 线 近似 也 不 可 取 ， 这 就 启示 我 们 构造 So) 的 割 线 
近似 ， 

设 By, Æ Sirr) 的 制 线 近 似 ， 则 选 代 (7.1.9) 成 为 


(J (ea)? Hae) + Budde = —JI(ag)? rae). (7.5.1) 


我 们 要 求 Bi 满足 某 种 氢 牛 顿 条件 ， 由 于 


Sær) = $ rilek) V ritr), (7.5.2) 
i=l 
RRA 


m 


Bry = So riles) (iay 
1 一 
BUM S( 241). 这 里 (Aes 是 V?rilErpa) WH RRE, 故 有 


(Hi)eti Erti — Te) = Vriltegi) 一 Vri{zx). 


于 是 


Birri(Tkrl 一 Tk) = So ries) (Hiern — TR) 


i=l 
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一 > rilter1)(Vre(en42) ~ Vrilxg)) 
i=1 


= (J(ay1) 一 J (ap)) r(en41) Ê yp, 


(7.5.3) 
这 就 是 Br 满足 的 氢 牛 顿 条 件 . 
类 似 地 ， 如 果 要 求 
(I (pnt) Stasi) + Bet1)sk 
= I (tea) (tess) ~ Tan)? r(e) 
(7.5.4) 
RE, W Beg 应 满足 
Bk415k = Yk, (7.5.5) 
这 里 
Ük =F (tanga) T(E) — Jlar) (ze) 
— HEr)? T(E) sk. (7.5.6) 


现在 ， 我 们 利用 加 权 Frobenius 范 数 给 出 B 应 满足 的 校正 公 
R- 下 面 的 定理 是 第 五 章 中 定理 5.1.6 的 重新 叙述 . 
EM 7.5.1 Burs, > 0, Te RX" ARIE EMH 
阵 ， 满 足 
TT? sp = vp, (7.5.7) 


其 中 
og 2 VF (@e41) — VE (an) 
= 区 zx T£) ~ Ize) r24), (7.5.8) 
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那么 ， 校 正 


— B Tag — By s,)7 
Bass =B, + (ye RoE )U, t MET kk) 
5p Uk 
SE (Ue Bisk) at (7 5 9) 
(stu)? " * 加 

是 极 小 化 问题 

min||7'~7 (Bey: — Be)T ||P 

s.t. (Bri ~ Be) RK, Bk4iSk = ve (7.5.10) 
的 唯一 解 . 


Dennis, Gay 和 Welsch (1981) 给 出 了 解 非 线性 最 小 一 和 琵 呵 题 
的 拟 生 顿 算 法 和 程序 NL25OL. 这 个 算法 利用 氢 牛 额 条 件 〈7.5.3 
和 (7.5.9). 为 了 使 算法 具有 有 总体 收敛 性 ， 信 赖 域 策略 采用 了 ， 即 看 
每 一 步 求解 信赖 域 模型 问题 


min r(x)? rz) + (a ERY (xn) r( 24) 
+ 5 (a — a4)" (Jen)? Stee) + Ble- e) 


s.t. |z — æg! $ hk, 


从 而 得 到 
fey. = Tk — (Mae)? Mae) + Bet pd) Jlar) rle). (7.5.12) 


算法 NL2SOL 还 采用 了 85.7 HAA... 这 是 因为 在 


rh 


S(2) = $n,(r) Viri(z) 


i=1 
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中 ， 分 量 ri(x) ANOS Vri) 变化 得 更 快 ， 而 校正 
公式 (7.5.91 并 入 六 反 遇 出 这 种 变化 - 这 种 情形 对 于 零 残 量 和 小 焉 
BMA. BOER PR PIAS 


a > 
Yk = min | 地 1} (7.5.23) 
BERTRAM Be 然后 利用 公式 (7.5.9) 进行 校正 . 
数值 试验 表明 ， 对 于 大 线 星 问题 ， 拟 牛顿 法 NL2SDL 有 明显 
的 优越 性 ; 对 于 小 残 量 问题 ， NL28OL 与 Moré 的 L-M RER 
名， 但 Moré 算法 更 简单 . 因此 ， 本 章 介 绍 的 三 种 方法 : Gauss- 
Newton 法 ， Levenberg-Marquardt 方法 与 拟 牛 顿 法 对 于 解 非 线 星 
最 小 二 乘 问题 是 十 分 有 用 的 . 其 中 ， LM 方法 的 Moré 算法 、 拟 
牛顿 法 NL2SOL 算法 是 日 前 最 流行 的 算法 ， 
类 似 于 上 面 的 讨论 ， Biggs (1977) 利用 拟 牛 顿 条 件 (7.5.3) 和 
如 下 秩 一 校正 公式 


Bray = By (ye — Brar (yk ~ Besk)” 
H (Wi 一 Brisk)T Sk 


(7.5.14) 


A TERREN RMS, Biggs 方法 也 采用 了 
调 比 策 略 ， 其 调 比 因子 为 
| Yk = rE Thr rk. (7.5.15) 


Fletcher 和 Xu (FRR E) (1986) JEE T RIESE ME Be os fey Ba 
MSS AH. CHER ERR ee AY Gauss- 
Newton 7%, BUS RAIMA. fe Re HE 


f(%a) — fret) 2 Then), 7 € (0,1). (7.5.16) 


如 果 上 述 不 等 式 满足 ， 则 来 由 Gauss-Newton 步 ， AWERI 
步 ， 通常 7 = 0.2. 
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最 后 , 我 们 指出 一 些 特殊 类 型 的 课题. 一 类 问题 是 求解 混合 线 
E- 非 线 性 最 小 二 莱 问 题 . 在 这 类 问题 中 , 一 部 分 变量 是 线性 的 ， 
另 一 部 分 变量 是 非 线性 的 ， 例 如 ， 

fo) = 5 Dorey’, 
i=l 


rfr} = gjett + roe — y, isho oum. 


这 里 xz1 和 za 是 线性 变量 ， zs 和 za 是 非 线性 变量 .Kaufimam 
(1975) 给 出 了 解 这 类 可 分 变 昔 的 非 线 性 最 小 二 乘 问 题 的 投影 方法 
和 VARPRO 算法 . 

在 非 线 性 最 小 二 乘 问 题 中 ， 我 们 考虑 的 是 极 小 化 非 线 性 熙 多 
的 平方 和 ， 在 实际 上 ， 有 时 要 求 考虑 其 它 尺度 一般 地 ， 


min ffx) = p(r(z)}, or: A+R", p: R” >R. 


Y ple) = iTe 时 ， 就 是 本 章 研究 的 韭 线性 最 小 二 乘 问 题 。 基 它 
常常 要 考虑 的 情形 包括 ， 


elz) = llela 和 plz) = llel; 


它们 分 别称 为 和 lo MORALS. Bartels 与 Conn (1982), Murray 
与 Overton (1980, 1981) 以 及 Watson (1987) 研究 了 上 述 问 题 . 
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第 八 章 ”约束 优化 最 优 性 条 件 


538.1 约束 优化 问题 


约束 非 线性 优化 问题 是 指 
min fiz) (8.1.1) 
st. efer)=0, i=l, Mej (8.1.2) 
gilr) p0, i= mat lpm. {8.1.3} 


Et, f(z) Rele)@=1,---,m) 都 是 定义 在 R 上 的 实 值 连续 
请 数 ， 且 至 少 有 一 个 是 非 线 性 的 ， m 是 一 正 整 数 ， me 是 介 于 0 
和 ma 之 间 的 整数 . fi) RRA BRR. clr) (i = 1 ,mm) 
PR AAR ERR. ost. 是 英文 subject tol 满 足 于 ) 的 缩写 ， 如 果 
me =m, 则 问题 (8.1.1)—(3.1.3) RRA SAAR EL i. 如果 
e(@) {i =1,---, me} ABER ey, BET RRM (8.1.1)—-(8.1.3) Æ 
PRERE E. -- PARAL, OR E ERR 
fiz) 是 二 次 函数 ， 则 被 称 为 二 次 规划 问题 . 

EX 8.1.1 ze R” 被 称 为 问题 (8.1.1)— (8.1.3) 的 可 行 点 
SAMS {5.1.2} 8.13) Mat. 所 有 可 行 点 所 组 成 的 集合 被 称 为 
可 行 域 . 

我 们 称 (8.1.2) 各 (8.1.3) HARE. 根据 定 交 可知， 可 行 点 
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就 是 满足 所 有 约束 条 件 的 点 ， 我 们 记 可 行 域 为 X: 
X s{æjaļlr) =O. 7= 1 Mej 
cilz) 20, i= met leamh. (8.1.4) 


从 可 行 感 的 定义 可 知 ， 求 解 药 束 优化 问题 (8.1.1)-—-(8.1.3) W 
是 在 可 行 域 X 上 寻求 一 点 z HS Ae f(z) 达到 最 小 . 我 们 
给 出 解 的 精确 定义 如 下 : 

HEM B12 Werte X, 如果 


f(z) 2 fle"), Vee Xx (8.1.5) 


成 立 ， 则 称 ot 是 问题 (8.1.1) 一 (8.1.3) 的 全 局 极 小 点 ， 如 果 对 一 切 
ceX Rax2’ 有 
flix) > f(z") (8.1.6) 
成 立 ， 则 称 z* 是 全 局 严格 极 小 点 . 
FEM 813 Bete X, 如果 对 某 一 8>0 有 


f(z) > Fe’), ve e Xn Bix", 4) (8.1.7) 


ARSE, 则 称 2* 是 问题 (8.1.1) 一 (8.1.3) 的 局 部 极 小 点 , 其 中 B(x", 6) 
是 以 sr* 为 中 心 以 为 半径 的 三 史 球 ， 


Biz*, 5) = {al lle —a2*llo < 8}. (8.1.8) 


WEI — H r eE XO B(2",6) Be Aa” FBS BGs eee. aR 
z* 是 局 部 严格 慨 小 点 ， 
全 局 概 小 点 也 常 称 为 总 体 极 小 点 ， 役 如 然 ， 全 局 【严格 ) 极 小 
点 也 是 局 部 极 小 点. 
假定 x 是 河 题 (8.1.1) 一 (8.1.3) 的 一 个 遍 部 极 小 点 、 如 果 有 
加 € fm, + 1,m] 使 得 
cafet) > 0, (8.1.9) 


- 405 - 


则 我 们 可 将 第 io TARRE H e RAR io 个 约束 条 
件 所 得 到 的 问题 之 局 部 极 小 点 、 由 于 这 一 性 质 ， 我们 称 第 o FAA 
BRE x* 处 是 非 积极 的 . 下 面 的 定义 将 积极 与 非 积极 的 概念 推广 到 
任何 点 处 首先， 我 们 引入 记号 


E = {1,2,->+,me}, (8.1.10) 
T= {metl mh (8.1.12) 
I(x) = files(z) <0, i€ I}. (8.1.12) 


7M 8.1.4 WAN ze R”, 我 们 称 集合 
A(z) = BUI (z) (8.1.13) 


是 在 z 点 的 积极 集合 (或 有 效 集 人 台 ), clr) {i EA) BE a 点 的 
积极 约束 (RA ROR), a(x) (i g Aln) 是 在 r 点 的 非 积极 约 东 
{或 非 有 效 约 束 ). 

假定 我 们 已 知 问题 (8.1.1) 一 (8.1.3) 在 解 处 的 积极 约束 A(t), 
我 们 具 需 求解 如 下 的 等 式 约束 优化 问题 


min fiz), (8.1.14) 
s.t. cf} =0 ig A(z’), (8.1.15) 


即 可 以 了 . 一 般 说 来 ,等 式 约束 问题 (8-1. 14) 一 (8.1.15) 要 比 原 问题 
(8.1.1) 一 (8.1.3) 容易 求解 - 


88.2 一 阶 最 优 性 条 件 


二 般 情况 下 ， 直 接 利 用 定义 813 去 判别 一 给 定点 z* 是 可 为 
局 部 和 解 是 办 不 到 的 ， 一 个 显然 的 困难 是 X 9 B(x’, 6) 通常 是 有 无 
穷 多 个 点 ， 从 而 直接 验证 (8.1.7) 是 不 可 能 的 . 因此， 有 必要 给 出 
只 依赖 在 s" 点 处 目标 函数 和 约束 冰 数 信息 的 、 且 与 (8.1.7) 等 价 
的 条 件 ， 这 样 的 条 和 件 我 们 称 其 为 最 优 性 条 件 . 
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可 行 域 上 一 个 点 是 否 为 局 部 极 小 点 取 关 于 目标 函数 在 谅 点 以 
及 附近 其 它 可 行 点 上 的 值 . 所 以 , 可 行 方向 在 推导 最 优 性 条 件 起 十 
分 重要 的 必用， 下 面 ， 我 们 给 出 各 种 可 行 方向 的 定义 . 

SEM 8.21 Peo 6X, 04d CR", MRE ó> 0 使 得 


a’ 4tdeX, vte (0,5), (8.2.1) 


Wa de X ot AMAT Hi. 中 在 8 处 的 所 有 可 行 方 问 的 
集合 沁 为 FD (2*,X). 
SEM 8.22 Bote X deR”, me 


dVe(2*)=0, ick; (8.2.2) 
d Veiz) 20, ¿E I(x"), (8.2.3) 


则 称 d Æ X Ear APPEAL TT A. X E ar 处 的 所 有 线性 
化 可 行 方 向 的 集合 记 为 LFD (x*, X). 

定义 8.2.3 设 z € X, de R”, 如 果 存 在 序列 ds(k = 
1,2,0) I Sk > 0 (二 1,2,...) 使 得 


r*+ bpd, € X, Vk, (8.2.4) 


B de > dE r +0, MRR d EX Bot PAT. X 
在 a" 处 的 所 有 序列 可 行 方 向 的 集合 记 为 SFD (2, X). 

根据 定义 ， 下 面 引 理 显然 成 立 . 

引 理 8.2.4 We’ E X, 如 果 记 有 的 约束 函数 都 在 z* 处 可 
微 ， 则 有 


FD (2*, X) G SFD (x*, X) C LED (a*, X). (8.2.5) 


证 明 ”对 任何 de FD (2*, X}, 由 定义 8.2.1 证 知 存在 5>0 
使 得 (8.2.1) MY. $ dr = d 和 64 = 6/2" {k = 1,2,0, MS 
(8.2.4) 成 立 且 显然 有 dx > dF ós 40. 所 以 de SFD(a*,X). 由 
Fa MMe. Ain 


ED {2*, X) C SFD(a", X). (8.2.6) 
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ME de SFD(a2*, X}, 如 果 d= 0, R EHR de LFD {(r*_X). 
假定 d £0, ABM 8.2.3， 存 在 序列 delk = 1,2,---) FU ör > 0 
(k= 1,2,---) 使 得 {8.2.4) MYA dr >d 40 MS, 20. 从 (8.24) 
ay 

O= ejr" + bade) = Sadi Vela”) + ofl|Sadzil), ie E, 

(8.2.7) 


O< c(a" + bude) = bud} Ves(a") + o(|[baceil), iE Ta"), 
(8.2.8) 


在 上 两 式 的 左右 两 端 除 以 54, 然后 令 k PSY, EBB (8.2.2) 
和 (8.2.3). 所 以 我 们 有 


SFD (a7, X) G LFD (x*, X). (8.2.9) 


(8.2.6) 和 (8.2.9) 表明 引 理 成 立 ， 
引 理 8.2.5 $e" & X 是 问题 (3.1.1) 一 (8.1.3) 的 蒿 部 极 小 
点 ， 如 果 F(z) 和 ulr) (i = 1,---.m) WE r" AAT, WA 


dV f(a") 20, Yde SFD(2*, X). (3.2.10) 


证 明 ”对 任何 d e SFD (2*,X), 存在 êk > 0k = 1o) 和 
dalk = 1,2, ) I r*+ érdi € X HO OOM dg, >d HF 
a+ bpd, -+ 2", TH 1 是 局 部 极 小 点 ， 对 充分 大 的 天 必 有 


f(a") < fe’ 十 ds) = f(a") + dE VA(2") + obr). (8.2.11) 
从 上 式 可 得 


d Vr) 20. . (8.2.12) 
由 于 的 任意 性 ， 即 知 (8.2.10) 成 立 . c 
下 面 的 引 理 是 由 Farkas (1902) 给 出 ， 故 称 为 Farkas 引 理 . 
引 理 8.2.6 BLY 是 两 个 非 负 整 数 ， padi =1.---,1) 和 
bG =L l) E R 中 的 向 量 ， 则 线性 方程 组 和 不 等 式 组 : 


d'e -=0, i= 1 2 (8.2.13) 
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有 0 {8.2.14] 
dag <0, (8.2.15) 


é 


无 解 当 且 仅 当 存在 实数 Ai = 1) PSE ASEM pelt = l, od) 
使 得 - 


ay 一 5 Aiti 十 y ib,. (8.2.16) 
i=l i=l 


. 证 明 SE (8.2.16) 成 立 且 mi SOG H1,--- 0). 则 对 在 何 4 . 
满足 (8.2.18)—(8.2.14) 都 有 


I l 
d'ao = X dd? ai t+ XO pidh; > 0, (8.2.17) 
t=1 4 一 ` 


从 而 (8.2.15) 不 成 立 、 所 以 (8.2.13)-- (8.2.15) 无 解 . 
假定 不 存 硅 实数 Att = 1, a so) 和 非 负 实数 Hili = 1, . +0) 
使 得 (8.2.16) R. EMEA 


S= {ala = Saat Sabi MER ui? o}. (8.2.18) 
i=l 


i=l 


BR SR” phian HT ao g 3, RS K T h 
RACH, DRE d eR” 使 得 


daga c< da, vaes, (8.2.19) 
其 中 a ER BK. HT Oes, 所 以 
dag < 0. (8.2.20) 
对 任何 入 > 0, BA Ad, ES. 从 而 
Ad? bi > a, YA>0. (8.2.21) 


- 409 - 


在 上 面 不 等 式 两 边 同 除 以 和, 然后 令 和 +00, 即 得 到 于 到 > 0. 
所 以 我 们 有 

, db; 20, i=1,2 l. (8.2.22) 
同样 地 , 对 任何 入 > 0 HA Aa; € S Al —Aa; € 5S, 所 以 可 证 dia: > 0 
和 d?(-a;) 20. BA 


da;=0, 1=1,2,...,1. (8.2.23) 


所 以 ， 向 量 d 是 (8.2.13)-—8.2.15) 的 一 个 解 . 口 
上 面 的 引 理 在 形式 上 是 线性 系统 (8.2.13)—(8.2.15) 和 线性 表 
达 式 (8.2.16), 这 两 者 必 有 一 个 且 只 有 一 个 成 立 ， 所 以 该 引 理 也 被 
称 为 择 一 性 引 理 ,利用 Farkas 引 理 和 引 理 8.2.5, 我 们 可 得 到 如 下 
一 阶 优化 条 件 . 
定理 8.2.7 ie ot 是 问题 (8.1.1) 一 (8.1.3}) 的 一 个 局 部 极 小 
点 ， 如 果 


SFD (2*, X) = LFD (rx*,X), (8.2.24) 
WU FE ari = 1,2, trta m) {E44 
Vila") = JOA Nale"), (8.2.25) 
一 卫 
AP 20, Ata(a7)=0, eT. (8.2.26) 
证 明 由 引 理 8.2.5 AK Ask (8.2.24) 可知 如 下 线性 系统 
d?Vci(a*)=9, ie B; (8.2.27) 
d?Vei(a") 20, ielat (8.2.28) 
d?¥ f(a") <0 (8.2.29) 


AR. AH Farkas 引 理 即 知 存 在 AT © RG e E) Al AT > 0 (i © 
Tt2*)) 使 得 


Vile") = Nv) + 3 AN Vale), (8.2.30) 


i€E ied (a) 
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A X = 0 Cie T(z")), EDA (8.2.25) 一 (8.2.26) 成 立 . a 
定理 8.2.7 是 由 Kuhn 和 Tucker (1951) AHL RCE RRA 
Kuhn-Tucker 定理 ,与 式 (8.2.25) 有 着 密切 联系 的 一 个 郴 数 是 


La, A) = fla) — Aele) = fle) 一 Yet) (8.2.31) 


其 中 入 二 n Am) E R”, WE e(z) = feifz Cm 由 
Z- BR BC A) AEW] Lagrange (1760-1761), 故 它 被 称 为 La- 
grange a, Ag@i=l,---,m) 被 称 为 Lagrange Wy. 

定义 82.8 we r* e X AA XM = (A,---, AL) E R” 
使 得 (8.2.25) (8.2.26) W. MK zr” 是 问题 (8.1.1) 一 {8.1.3) 的 
Kuhn-Tucker 点 (简称 K-T 点), 称 A* 是 在 e” 处 的 Lagrange 3% 
子 . 

因为 Karush (1939) 也 类 似 地 考虑 了 约束 优化 的 最 忧 性 条 件 ， 
所 以 也 有 人 把 定理 8.2.7 称 为 Karush-Kuhn-Tuocker 定理 , 把 K-T 
点 称 为 K-K-T A. 

定理 8.2.7 中 的 条 件 (8.2.24) 被 称 为 约束 规范 条 件 . 下 面 的 例 
TH Fletcher(1987) 所 给 出 . 它 胡 明 ， 如 果 约 束 规 范 条 件 (8.2.24) 
不 成 立 ， 则 问题 (8.1.1) 一 (8.1.3) 的 局 部 极 小 点 并 不 一 定 是 一 K-T 
点 - 


我 们 举 一 例 子 : 
Ces Ey. (8.2.32) 
s.t. 23 — xy > 0, (8.2.33) 
za 20. (8.2.34) 


不 难看 出 x* = (0,0)7 是 问题 (8.2.32)—(8.2.34) 的 全 局 极 小 
点 ,在 zx” 处， 我 们 可 得 到 ， 


SED (2*, X} = {dla = (a) a> o}, (8.2.35) 
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以 及 


. * _ _ ar 1 
LFD (x*, X) = {ald = Gr a eR }. (8.2.36) 
所 以 ， (8.2.24) 不 成 立 ， 直接 计算 可 知 
V fie") 一 (a) (8.2.37) 
Velet) = (2) (8.2.38) 
Veslr”) = (i) (8.2.39) 


因而 不 可 能 存在 AT AAD 使 得 
V F(a") = A Vele") + Ag Veale") (8.2.46) 


”成 立 . 这 一 简单 例子 说 明 药 东 规 范 条 件 的 重要 性 , 由 于 条 件 (8.2.24) 
AREAS RTE, Ae He SS, 但 容易 验证 的 约束 规范 条 
件 ， 首先 ， 我 们 给 出 一 个 最 明显 的 约束 规范 条 件 : 

条 件 8.2.9 ”所 有 的 efz) (i Ee EUL 都 是 线性 省 数 . 

根据 定义 ， 只 更 条 件 8.2.9 满足 ， 则 必 有 (8.2.24) RE T 
是 我 们 有 区 下 推论 . 

推论 8.3.10 jat 是 问题 (8.1.1; 一 (8.1.3) 的 一 个 局 部 极 小 
A WRH 8.2.9 成 立 ， 则 t 必定 是 一 个 K-T A- 

下 面 的 约束 规范 条 件 基 由 Mangasarian 和 Fromowitz (1967) 
= ik. 

条 件 8.2.11 1) Veitlz*) G e FE) 线性 无 关 ; 

2) 集合 ， 


S*{dld? Vela") =u, i€ E:d? Vole") > 0, i€ Mat)} (8.2.41) 


非 室 ， 
引 理 8.2.12 xt e X, 如 果 条 件 8.2.11 WE, WARR 
(8.2.24) 成 立 . 
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证 阴 HEIENE d e 5", 必 存在 di (i= 1,---,n—-—m.- 
1) 组 成 span {Vey (2"), "tty Ven, (x*), d} 的 法 空间 的 一 组 正 父 基 . 


考虑 带 参数 的 非 线 性 代数 方程 组 : 
e(z}=0, «= 1,++-, Me, (8.2.42) 
di(s 2)=0 i=l penn- mel, (8.2.43) 
d'(a- z*)- 8 = 0, (8.2.44) 


由 于 该 方程 组 在 x = z* Sb Jacobi ERIAS, ARBRE 
理 ， 对 充分 小 的 6, DER r= r0) Ae 
x'(®)leno = d/|ldll. (8.2.45) 
对 任何 ie Iet) 都 有 d?Ves(2") > 0, M24 8 > 0 充分 小 时 必 有 
ci(e(f)) > 0 所以， 当日 > 0 充分 小 时 ， zf 的 三 天 WA, > 0, 
6, -+ O (k +00 Bt), B alr) © X. 由 于 (2(@,) 一 axrjy7gk alldl2， 
从 定义 8.2.3 Bl 
d € SFDiz*, X). (8.2.46) 


IWF d 6 S* 的 任意 性 以 及 0& SFD(2*, X), 我 们 有 


S* G SFD(£*, X). (8.2.47) 


因为 SFD (2*, X) 是 闭 集 ， 从 上 式 可 得 
el( $8") C SED (a*, X), (8.2.48) 


其 中 (S 表示 S* 的 闭 包 . 由 于 S* 非 空 , 根据 Rockafellar (1970) 
中 的 定理 6.5 可 知 


el(S*) = {dld Ve(2") = 0, iE E; dT Vei(x*) 20, iez) 
= LFD (x*, X). (8.2.49) 
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利用 (8.2.48), (8.2.49) 和 (8.2.5) 即 知 等 式 (8.2.24) 成 立 ， C 

一 个 比 条 件 8.2.11 更 强 的 约束 规范 条 件 是 条 件 8.2,13. 

条 件 8.2.13 Vela") (ic EJH) 线性 无 关 . 

引 理 8.2.14 MRR 8.2.13 成 立 ， 则 条 件 8.2.11 必定 成 
Ww. 

证 明 UR f(a") 是 空 集 , 则 条 件 8.2.13 和 条 件 8.2.11 是 等 价 
的 . 假定 e7) 非 空 , 对 任何 了 EYfx*), BF Vele") (i e BUI {2*) 
线性 无 关 ， 必 存在 起 使 得 

diVede*)=0, Yie EUT), Ej 
(8.2.50) 


df Volet) = 1. (8.2.51) 


A d= y dj, H S* 的 定义 [A (8.2.41) 3], 即 知 d E 5*. 所 以 
jEr} 

S* 非 空 . a 

利用 上 述 结 果 ， 我 们 可 得 到 以 下 定理 . 

定理 8.2.15 Be 是 问题 (8.1.1) 一 (8.1.3) 的 一 个 局 部 极 
小 点 ， 如 果 Vale") (GE EUr) BELA MUFE ATG = 
1,2,-…… ,mi 使 得 (8.2.25) 一 (8.2.26) 成 立 ， 

因为 约束 规范 条 件 8.2.13 易于 检验 ， 所 以 定理 8.2.15 是 一 个 
最 常见 的 也 是 最 有 用 的 关于 一 阶 壤 优 性 条 忻 的 结果 ， 上 面 所 讨论 
的 都 是 关于 必要 性 ， 下 而 我 们 讨论 充分 性 条 件 . 

定理 8.2.16 Ba eX. 如 果 f(r) Ml (x) (i = 1,---,m) 
都 在 2* Shay HA 


ad’ Vf(e")>0, vO4Ad € SFD (ze X), (8.2.52) 


RY e 是 问题 (8.1.1)—(8.1.3) 的 局 部 严格 极 小 点 . 
TEAR (RFE (8.2.52) 成 立 ， 如 时 x* 不 是 局 部 严格 极 小 点 ， 则 
存在 zk EX 使 得 
fre) < F(x"), (8.2.53) 
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且 有 re> r, a, Ert (k= 12,7). PR -RE 我们 可 假定 
了 上 一 x 
[£r — æ“ liz 
令 di = Ek 一 g”) |e -- x*||2, Ëk = HETA 一 zy}. 根据 定义 8.2.3 BA 
知 


— d. (8.2.54) 


d € SFD (2*, X). (8.2.55) 
A (8.2.53) 和 (8.2.54) 可 证 

dTV f(a") <0, (8.2.56) 
从 而 (8.2.55)}—(8.2.56) 与 (8.2.52) 475- 口 


利用 引 理 8.2.4 和 定理 8.2.16 可 得 如 下 推论 . 
推论 8.2.17 ea e X, MR f(x) i ale) (= 1,---,m) 
都 在 z* kb aT fk. A 
OVUf(2*}>0, VOAde LED (x*,X), (8.2.57) 
BY 2” 是 问题 (8.1.4)—(8.1.3) 的 局 部 严格 极 小 点 . 
在 式 (8.2.26) 中 的 条 件 


Mea(at)=0, ie! (8.2.58) 
称 为 互补 条 件 ， 它 要 求 A Mele) 至 少 有 一 个 为 零 ， 如 果 

(At)? + aa >0, viel, (8.2.59) 
我 们 则 称 严 格 互 补 条 件 成 立 . 


在 不 作 任 何 约束 规范 的 假定 下 ，John (1948) 给 出 如 下 的 必要 
HERPE: 

定理 8.2.18 ik f(z), ci(z)(i = 1,---,m) 在 包含 可 行 域 X 
的 某 一 开 集 上 连续 可 微 ， 如 果 x* 是 约束 优化 问题 (8.1.1)- 一 (8.1.3) 
的 局 部 极 小 点 ， 则 必 存 在 AG 2 0, A* eR” H 


ASV F(a") — DY MVei(z") = 0, (8.2.60) 
i=l 


"4l > 


AP RO Acfr’)=0, iE, (8.2.61) 


Da? > 6. (8.2.62) 


证 明 ”如果 Vele) Ge E) EMR, WRAEMAR. fk 
假定 Volze E) 线性 无 关 ， 如 果 


S* = {dld?Ve(2") =0, i€ E, d Vale) > 0, iee) 
{8.2.63} 
是 一 非 空 集合 ， 溃 利用 中 理 8.2.12 和 定理 8.2.6 可 知 x* 是 一 KK- 
TA. Ai (8.2.60) 一 (8.2.62) Æ Y. 下 面 假定 S 是 空 集 ， 与 引 理 
8.2.5 BW, We 5* aw, WEA ATG © EUT 使 得 
S> (Af)? #0, A 2 OG e Te")), AA 


i€BUI (2*) 


SO MVei(a") = 0. (8.2.64) 


GEUIT (et) 
A‘ =O, AL =O g BU Nah 则 从 上 式 可 知 (8.2.60) 一 (8.2.62) 
成 立 . 改 知 定理 为 真 . 口 


满足 (8.2.60)—(8.2.62) 的 点 称 为 Fritz John 点 . 我 们 称 下 面 
的 加 权 的 Lagrange oj xr 


E(x, An, A) = Aof (a) — S$ acla) (8.2.65) 
+ 二 1 

为 Fritz John 函数 显然， Fritz John 点 是 Fritz John 函数 的 稳 
定点 . 注意 到 Ao > GO. 如 果 ào > 0, 则 Fritz John 函数 可 看 成 是 
Lagrange MACH Ao e 但 当 o= OW, Fritz John 函数 和 目标 
HAER AARAA ETARKAN. 并 不 能 真正 显示 原 约 
束 优 忆 问 题 的 最 优 性 ， 这 就 是 Fritz John 点 并 不 受到 重视 的 主要 
MA. 
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E83 一 阶 最 优 性 条 件 


it et e X, WN (8.2.52) 成 立 ， 则 巾 定理 8.2.16 知 x* 必 是 问 
题 (8.1.1) 一 (8.1.3) 的 一 个 局 部 严格 极 小 点 ， 如 漂 


dV f(a") <0, Ide SFD («*,X), (8.3.2) 


DG SF 8.2.4 可 知 rt 必 椒 是 问题 (8.1.1)---(8.1.3) 的 后 部 极 小 
点 ， 也 就 是 说 ， (8.2.52) 与 (83.1) 内 要 有 一 个 成 立 ， 风 可 用 一 阶 
最 优 性 条 件 来 判别 xz* 是 否 为 局 部 极 小 点 ， 下面 我 们 假定 (8.2.52) 
和 (8.3.1) ABA Ak Ie, By 


d?V f(a") 20, Yde SFD (a*, X); (8.3.2 


d?Vf(2*)=0, 304d € SFD {z*, X). (8.3.3) 


BALLARAT (8224) RE H (832), (2.24) F 
Farkas 引 理 知 2” 是 一 K-T 点 ， 我 们 记 AT 是 相应 的 Lagrange 
Rr. 由 (8.3.3) 和 Lagrange REM GEL ICN, 存在 0 了 de 
SFD {zx*, X) 使 得 


dV f(x") = Md? Vele") = 0. (8.3.4) 


i=l 
因为 SFD (2*, X) C LFD (z*, X), 所 以 (8.3.4) 式 等 价 于 
Ad Velat) = 0, vie) (8.3.5) 


Fot. RAAH TEX: 

定义 8.3.1 Be Æ K-T, A 是 一 相应 的 Lagrange Æ 
T. MR dÆ X Er 处 的 线性 化 可 行 方向 而 且 (8.3.5) 式 成 立 ， 
则 称 d 是 在 z* APR PEL AR A I. E o* 处 的 所 有 线性 化 零 
约束 方向 的 集合 记 为 Glo", A"). 如 果 在 z* 处 的 Lagrange Fe 
唯一 的 ， 我 们 用 Git 来 表示 G(rz*, A*). 
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定义 8.3.2 wea" 是 K-T A. AY 是 一 相应 的 Lagrange HK 
T. AR AE APRS dlk = 1,2,---) Ab, > O(k = 1,2,---) io 


ot + dad, € X, (8.3.6) 
So Arula" + beds) = 0, (8.3.7) 
te 


HA d, — d A Sk > 0, WE d ECE oe 姓 的 序列 等 约 束 方向 .在 
z* Sb RT ATA RISER A ARS id A S(2", A"). 
根据 定义 ， 我 们 有 


S{a*, à") C SFD (x*, X), (8.3.8) 
G(z*, A") C LFD (ze X). (3.3.9) 

与 (8.2.9) 类 似 ， 我 们 可 证 
(zz AT C Gla*, A*). (8.3.10) 


利用 定义 ， 我 们 有 如 下 必要 性 结果: 
定理 8.3.3 et 是 问题 (8.1.1) 一 (8.1.3) 的 一 个 局 部 极 小 
点 ， A” FED Lagrange Fe, MEH 


dTV Lo, Ad 20, vd € slat, Yh (8.3.11) 


其 中 L(x, A) 是 由 (8.2.26) 定义 的 Lagrange pH gr. 

WE BA WHE d E Sita MH d = 0 WERE 
dTV sabt Ad = 0. FERIRE d £0. B St2*, 和 *) 的 定 
义 ， 必 存在 序列 {dr} 和 {65} 使 得 {8.3.6)- 一 [8.3.7) 成 立 、 因此， 


fir" + kdg) = E(2* + pdk A*) 


， 1 ` p 
= Lie" A") + zókd, V? Leab(a*, A Jde + of 62) 
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= f(a) + 了 人 Lanla", \*)dy + 0(52). 


(8.3.12) 
Hts 是 局 部 极 小 点 ， 对 充分 大 的 不 有 
Fler +Sedk) 2 f(a"). (8.3.13) 
利用 (8.3.12}—(8.3.13}, 6, — 0, d, od 即 本 得 到 
dilw2 Lr, AM)d > 0. {8:3.14) 


由 于 de S(a*,r*) 的 任意 性， 所 以 (8.3.11) 成 立 ， g 

上 面 定 理 的 一 个 直接 推论 是 推论 8.3.4. 

推论 8.3.4 itr" 是 问题 (8.1.1) 一 (8.1.3) 的 局 部 极 小 点 ， 和 " 
是 相应 的 Lagrange RFP, WR 


S(z*,A*) = Gla", à"), (8.3.15) 
WU 
d? V2 L(2",A*\d 20, vde Gla", A"). (8.3.16) 


将 (8.3.11) 稍微 加 强 就 可 得 到 二 阶 充 分 性 条 件 . 
定理 8.3.5 hot 是 一 个 K 一 下 点，》* 是 相应 的 Lagrange 
sey. WẸ 


d VZ Lrt, A d> 0, VWOAd € Ga" A), (8.3.17) 


则 xz* 是 局 部 严格 极 小 点 . 
证 明 ”假定 x* 不 是 局 部 严格 概 小 点 ， 则 存在 zs € XX 使 得 


Fier) < fle"), . (8.3.18) 
AFG Ee > r", £k FL = 1,2,---). Ak E, 我 们 可 假定 
(a, — zr mz" — d (8.3.19) 
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与 (8.2.49)—(8.2.51) 一 样 ， 我 们 有 
dV F(x") <0, (8.3.20) 


d € SFD (a*, X). (8.3.21) 


由 (8.3.21) 和 (8.2.5) 可 知 


d'V f(a") = Md Vei(a*) 2 0. (8.3.22) 
i=l 
从 (8.3.20) 和 (8.3.22) 可 明显 看 出 
we 一 0 (8.3.23) 
Md? Ve,(2") =O, Vie Ifz*). (8.3.24) 


rH (8.3.21) 和 (8.3.24) 知 
de G(x*,d*), (8.3.25) 
Hy (8.3.18) 可 知 


La A) > Ble, A") 


1 . ， 
= Le, A") + ZERIE Via Lle", A” Jde + olk). 
(8.3.26) 


其 中 ôr = jer- etl 于 是 ， 我 们 有 


d v2 Lz, A Gd <0. (8.3.27) 


(8.3.27) 和 (8.3.25) 说 明 (8.3.17) 不 可 能 成 立 。 AROLSE REAR. C 
45 Fletcher (1987) 一 样 ， 我 们 定义 强 积 极 约束 如 下 . 
定义 8B8.3.6 ie eX ET K-T, A" 是 一 个 机 应 的 
Lagrange FEF. Wie E= {1 .mxl 或 者 AP > O TBR ci(z) 
是 在 a” Rb (相对 于 和") 是 强 积极 的 ， 我 们 称 


A, (a*, A) = EU {ij € I(x"), At > 0} (8.3.28) 
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是 在 zx" 处 的 强 积极 集合 ， 
根据 定义 ， 不 难 发 觉 


G(x", A) = LED (2°, X) U {d|d Vei(27) = 0, ie Aple”, ATH. 
(8.3.29) 
从 上 式 和 定理 8.3.5 可 得 到 以下 推论 . 
推论 8.3.6 itet 是 一 个 K-T 点， 入 * 是 相应 的 Lagrange 
ET. WRH HWE 


d?Ve(2")=0 i¢ Aiz A) (8.3.30) 


WEE et d 都 有 
d? V2 Lr, Md > 0, (8.3.31) 


则 z* 是 一 个 局 部 严格 极 小 点 . 
如 果 二 阶 必要 性 条 件 满足 而 二 阶 充 分 性 杀 件 不 满足 ， 则 需要 
供 助 更 高 阶 的 优化 条 件 来 判断 一 个 K-T 点 是 否 为 局 部 极 小 点 . 
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第 九 章 二 次 规划 


89.1 二 次 规划 问题 


二 次 规划 是 最 简单 的 约束 非 线 性 规划 问题 , 它 是 问题 (8.1.1) 一 
(8.1.2) 在 f(x) 是 二 次 函数 ， cole) (i = 1,2,.…,m) 都 是 线性 函数 
时 的 特殊 情形 ， 即 可 写成 


1 > 

min Q(z) = zæ Hr +g e. (9.1.1} 

rek* 2 

st. alge = bp i=l, me; (9.1.2) 
ale eb, ti=mt+1,---,m. (9.1.3) 


利用 第 八 章 的 结果 ， 我 们 可 得 旬 如 下 定理 . 
定理 9.1.1 ikot 是 二 次 规划 问题 (9.1.1) (9.1.3) 的 局 部 极 
小 点 ， 则 必 存 在 乘 子 AZ(2 = 1,…,m) 使 得 


y+ Hzr* = > A ui (9.1.4) 
ixl 
和 [fa e*t — bi] = 0, i= me tlt, mM, (9.1.5) 
AI RO, i= metl, o, m, (9.1.6) 
EHER — HET 
dTa; =0, i€ EUI’) (9.1.7) 
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的 de R” AA 
di Hd > 0, (9.1.8) 


AP E= {1,---. mel, AR 
b(a) = fila wr: = bp t= metlom} (9.1.9) 


定理 9.1.2 设 x* 是 一 个 KT AL A” 是 相应 的 Lagrange 
RF, WRIA 


dTa =0, i€ E; (9.1.10) 
d'a 20, ie I(x"); (9.1.11) 
dTa: =0, icH > 0, (9.1.12) 


的 非 堆 向 量 d 都 有 


dT Hd > 0, l (9.1.13) 


则 z” 必 是 问题 (9-1.1)—(9.1.3) 的 局 部 严格 极 小 点 . 

下 面 ， 我 们 给 出 一 个 既 充 分 也 必要 的 最 优 性 条 件 ， 

定理 9.1.3 Hat 是 二 次 规划 问题 (9.1.1)- (9.1.3) 的 可 行 
点 ， 则 a" 是 一 局 部 极 小 点 当 且 仅 当 存在 蒋 季 入 = OT A 使 
得 (9.1.4)—(9.1.6) 成 立 而 且 对 一 切 满 足 (9.1.10) 一 (9.1.12) K k A 
d 都 有 

dT Hd > 0. {9.1.14) 

证 有 明 R o 是 一 局 部 极 小 点 ， 由 定理 9.1.1 MARR OO" 
使 得 (9.1.4) 一 (9.1.6) ARIZ. 设 d 是 任何 一 个 满足 (9.1.10)— (9.1.12) 
MFRS ee. 显然 ， 对 充分 小 的 1>0 有 


a* +tde X. (9.1.15) 
于 是 ， 由 a ha, 


Q(x") < O(a" + td) = Qin") + td? [Hat +g] + std" Ha 
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= Ox") rN aid + std? Hd 


1 ， . 
= Q(z") + ztd Ha (9.1.16) 


SAT Ay FE abet > O Wer, HAR (9.1.14) take. 由 于 总 的 任意 
性 ， 所 以 对 -一切 满 足 于 (9.1.10 (9.1.12) 的 向 量 部 有 (9.1.141. 

反之 ， 设 存在 入 = (AT. AT) 使 得 (9.1.4) 一 (9.1.6) 成 立 ， 
而 且 对 一 切 满足 于 (9.1.10) -(9.1.12) 的 向 量 d 都 大 (9.1.14) 式 成 
M. WE a 不 是 一 局 部 极 小 点 ， 则 必 存 在 da > 0, dx 使 得 . 


eo” + 中公 E X, (9.1.17) 
Q(x* + bd.) < Q(x"). (9.1.18) 


WH 6, +0, dy +d. % jg Lagrange MK 


E(x. A") = Q(a) — $ Alaiz ~ bi). (9.1.19) 
i=1 
出 于 L(a, A") 是 关于 z 的 二 次 螨 数 且 有 
Vieb(x*, A*) =0, (9.1.20) 
Varb(a*,>*) = H, (9.1.21) 
if" 十 bpd, A) 一 Qir” t dnd) 5 Noga dy 
rel] 
-Y dona? dy. (9.1.22) 
ied 


由 (9.1.20) #4 (9.1.22) EJ 40 d PÆ (9.1.10) 一 (9.1.12). Sense A i 
Ha (iE E, A> Otc DHR HM 


d, = ~(AT\+ AT dk, (9.1.23) 


dy = dy + dy. (9.1.24) 


dt (9.1.22) 可 知 
tdi] — 0. (9.4.25) 


由 (9.1.20) Al (9.1.21) Ay 
La" + bade, A") =a, A") + CR — de) H (dr — dx)] 
> E(2*,X") + Ol: dallede) 
= Q(x") + OR AT deli). (9.1.26) 
从 (9.1.22) 和 (9.1.26) 可 得 到 


min AP} bull A" dal < O62 | At dalla). (9.1.27) 


Ag sO 
i 


这 与 64 9 OF. FA e 必 是 一 局 部 极 小 点 - 

击 于 亲 题 的 特殊 有 形式， 求解 二 次 规划 的 K-T 点 等 价 于 寻求 
z* ER”, A* c RT 使 得 线性 系统 (9.1.2}- (9.1.3), (9.1.4), (9.1.6) 满 
是 而 且 线 性 互补 条 件 (9.1.5) 也 成 证 ， 

me H 是 【正定 ) PEREM. (9.1.1) 中 的 目标 函数 有 是 《 严 
格 ) 十 函数 ， 这 时 亲 题 (9.1.1) 一 (9.1.3) 被 称 为 (严格) 凸 的 二 次 规 
划 间 题 , 对 于 二 次 规划 ， 可行 域 只 要 不 空 就 必定 是 凸 集 ， 所 以 当日 
RRR ORR. i K-T 点 必 为 二 次 规划 的 全 局 极 小 点 ， 

定理 914 KH ASIREREH, Wc 是 二 次 规划 问题 
(9.1.1) 一 -(9.1.3) 的 全 局 极 小 点 当 匡 仪 当 它 是 一 个 局 部 极 小 点 ， 世 
SERE E— T K-T 点， 

所 以 ， 当 H 是 半 正 定时 ， 求 解 (9.1.1) (9.1.3) 等 价 于 求解 
(x, A) E RIT 使 得 


g+ Hz = Ad, (9.1.28) 


~ 425 + 


afg:=b, EE, (9.1.28) 


aizzh, iel, (9.1.30) 
Afele —b)=0, iel, (9.1.31) 
420, iel (9.1.32) 


RLS, 其 中 f= {me + L, . Fh, A = {An ,Am } ea 
A = lo von， (9.1.33) 


K-SRKAMHS ARM BM eT SEE 
的 . 


§9.2 对 偶 性 质 


假定 H 是 正定 矩阵 ， 由 9.1 PHAR MMM (9.1.3 一 
(9.1.3) 等 价 于 (9.1.28) 一 (9.1.32). 记 


y= Ar—g, . (9.2.1) 
tj=afe—b, ied. (9.2.2) 


Gl (9.1.28)—(9.1.32) 可 写成 下 列 形 式 


(ny) = (F) e+} : |, (9.2.3) 
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Arx-y=4, (9.2.4) 


A; 2O, icf, (9.2.5) 
tiA; =O, iE, (9.2.6) 
#20, ied. (9.2.7) 


出 定理 9.1.3 可 知 (9.2.3)—(9.2.7) 等 件 二 


maxb? à 一 fy ty = QA yh (9.2.8) 
s.t. AX — Yy =g, (9.2.9) 
ABO, ted. (9.2.10) 


F¥ fi] BL (9.2.8) 一 -(9.2,10) 与 问题 (9.1.1} 一 (9.1.3) 等 价 ， 我 们 称 
(9,2.8) 一 (9.2.10) Ay (9.4.1)-—(9.1.3} 的 对 偶 问 题 , 称 (9.1.1)--(9.1.3) 
为 原始 问题 .利用 (9.2.1), 我 们 可 将 问题 (9.2.8) 一 (9.2.10) 简化 成 
如 下 形式 


min -(b + ATH g) TA + STAT HAA, 
= : (9.2.11) 


st. A420, EL (9.2.12) 


假定 Oy) BRL (9.2.8)—-(9.2.10) 的 可 行 点 ，z 是 原始 
河 题 (9.1.1) 一 (9.1.3}) 的 可 行 点 ， 我 们 有 


5 r 1 
Q(z) — QU, y) = "AA = y) + 327 Hz 
— ar _ , 1 Trr—l 
[AT Aw De sy" H y] 


一 之 ,Xi 二 十 了 Me? Ha +y HO y — 22" y] 
zal {9.2.13} 
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Erp t E (9.2.2) EX ATH E RET 


Ql) = QQ, y). (9.2.14) 
AM (9.2.13) 成 还 可 看 出 ， (9.2.14) ae AS 


.ACE — bi)=0, (9.2.15) 
ted 


z= Holy. {9.2.16} 


(9.2.16) & fr F (9.1.28), 因为 x 是 可 行 点 ， (9.2.15) 与 (9.1.31) 等 
tt. 于 是 我 们 已 经 证 明了 下 面 的 定理 . 
定理 9.21 2H ES. WR RTA. M oe 
X 是 问题 (9.1.1)—(9.1.3) BOBS A FEE (X*,y*) EHA HE 
(9.2.8)—(9.2.103 ZRH x* = Hy 以 及 AY 是 原 问 题 在 2* 处 的 
Lagrange RT- 

对 于 原始 问题 无 可 行 点 的 情形 ， 我 们 有 下 列 结果 ，. 

ER 9.22 KAGE. 则 原始 问题 无 可 行 点 当 且 仅 当 对 侦 
问题 无 界 ， 

证 明 如果 原始 问题 有 可 行 点 ， 出 (9.2.14) 式 可 知 对 偶 问 题 
的 目标 是 数 在 满足 (9.2.9) 一 (9.2.10) 的 集合 上 一 致 有 上 界 . 

现 假 定 原始 问题 无 可 行 点 ， 于 是 


(of bjeé=—0, ich, '9.2.17) 
(a? az 20, ied, ‘9.2,18) 
(0---O0,# <0. 9.2.19) 


在 主 € RR"t! 二 无 解 . 由 Farkas 引 理 ( 引 理 8.2.5) 即 知 存在 AWG = 
1,-- m) 使 得 


Tih 


5 Nin; = Ù, (9.2.20) 
i=l 
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So Ab = 1, (9.2.21) 


N20 iek (9.2.22) 


& A; = thy, Yr, ay 1 一 +30 HE 
OA y) = È — +o. 


WARS t > 0, A = (tia tAn) 和 3 = -9 满足 约束 条 件 
(9.2.9)—(9.2.10). 所 以 对 偶 问 题 无 解 . a 
' 原始 问题 的 Lagrange ef Sr 


La, A) = Q(z) 一 5 Alal gz — b;) (9.2.23) 
i= 
与 对 偶 理 论 也 是 有 着 密切 联系 的 . 不 难看 出 , 求解 (9.1.28)---(9.1.32) 


STREAM Le, 和) 在 区 域 {(z, AA 20,ie7) NRE. 
由 于 L(x, A) 的 Hesse 阵 为 


brim yy HB. -4 
Ye -ar o | (9.2.24) 
利用 恒等式 
T 0 i HA H 0 
| are z YL, A) lo I | = Ë -ATH 14 
(9.2.25) 


TAR VIL 恰恰 有 nn 个 正 特征 值 ,而且 它 的 负 畦 钼 值 的 个 数 止 好 为 
ARR. 所 以 ， Ltz, 和) 的 稳定 点 一 般 是 一 个 鞍点 . 
BEL, HEH ze X 我们 有 


max L(#,A) = Qla), (9.2.26) 
这 里 4 ERRA (9.2.11)—(9.2.12) 的 可 行 域 ， 即 
A= {AERA 30, iE} (9.2.27) 
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TAA Ae A, RATS 
y= AX - yg, (9.2.28) 


W Ay) 是 对 偶 问 题 (9.2.8) (9.2.10) 的 可 行 点 ， 而 且 有 


min L(x, À} =b A — Hy = QA, y). (9.2.29) 


ER 


BE (2%, M) 是 (8.1.28) (9.1.32] 的 解 , $ y" = AA" =g, IAT (和 六) 
是 问题 (9.2.8) 一 (9.2.10) 的 可 行 点 ， 于 是 对 任何 x* e R* 和 任何 
入 ed 都 有 


Lx, A = OM", y") 


= L(x", A) = Qla“) > L(x", M, 


(9.2.30) 
HOM (aN) 是 L(A) RA. 反之， 如 果 
Lie, A) > L(a*,d*) > Ea", A) (9.2.31) 
Ai—t eo xX Fi—WAc A MRI. WA 
— (A — A*)F(AT 2 — b} > 0 (9.2.32) 
20, ier (9.2.33) 


无 解 . 利用 Farkas 引 理 即 知 x* 必 是 原始 问题 的 可 行 解 . 由 (9.2.31) 
有 L(x", A") > L(a", 0), ea 


So Are? a" — 8) < 0. (9.2.34) 
i=] 
如 果 A* © A, 我 们 从 (9.2.31) 和 (9.2.34) 可 证 


Qla) = Lz, NM) + > A (afe — bi) 


i=l 
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> Lad") > L(a, A") 


mz Wt) 一 y Aflat r" 一 bi) = Qir) , 
i=i (9.2.35) 


M-MceX Why. Fao 是 原始 问题 的 极 小 点 ， 因此， 我 们 
得 到 了 如 下 结果. 

定理 9.2.2 OH E, Mate X BARA MHD ay 
Ril fete A e A EIH we XAI Ac A BA 9.2.31) 
HEE- 


89.3 ”等 式 约束 问题 


等 式 约束 的 二 次 规划 问题 可 写成 


1 
— ale iT 
min Ql) =g r+ 37 Hr, (9.3.1} 
st, Alix = b, . (9.3.2) 


HP g E€ R°, be R”, ACR™™ HER" B H EWE. KE 
一 般 性 ， 我 们 假定 秩 (A) = m. 

首先 ， 我 们 介绍 变量 消去 法 ， 假 定 我 们 已 找 到 变量 z 的 一 分 
解 r= (rs rY. HP zg € R”, an e 了 nm 且 对 应 的 分 解 
4 一 | 人 8 | 使 得 Ay 可 闻 ， 利 用 这 一 分 解 ， 约 束 条 件 (9.3.2) I 
起 


Alger + AREN =}. {9.3.3} 
由 于 Ap 存在 ， 故 知 


xn = (Ap Y ib- Ary). (9.3.4) 
将 (9.3.4) 代入 (9.3.1) 就 得 到 {9.3.1) 一 (9.3.2) 的 一 个 等 价 形式 ， 
min ghan + LT Awan, - (9.3.5) 
IN ENN—m 2 
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其 中 


ÛN = 9N 一 AnA gp + [Bws 一 An Ag Hno Apy t, 


(9.3.6) 
Hy = Hyny — Hwp(AB YAR 
— AmAB' Hon + An Ap) AuelAg Y Ad, (9.3.7) 
以 及 

9 一 [2] ， . (9.3.8) 
H= E Han | (9.3.9) 

是 与 = (epen)” 相应 的 分 解 . 

如 果 Ay 正定 ， 则 显然 (9.3.5) 的 解 由 

` wy = —Ax an (9.3.10) 


唯 -地 给 出 ， 这 时 ， 问 题 (9.3.1)--(9.3.2) 的 解 为 


. zt [一 ( 417 (Ap)? An] a 
z -| >| =| (45) +f By n| ön. (9.3.11) 


设 在 解 z* 处 的 Lagrange FH A, 则 有 


g t Hr* = Ad. (9.3.12) 
从 而 可 知 
M = Ap lor + Heavy + Hew’). (9.3.13) 
$ 9.3.1 
min Q(x) = z? — «3 — z2, (9.3.14) 
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st. gı +eg+o23 = 1, (9.3.15) 
zz ~ #3 = 1. (9.3.16) 
由 (9.3.16), 可 得 zz 表示 为 
zs 一 za +1. (9.3.17) 
洲 工 式 代 入 (9.3.15), 得 到 
a, 一 —2x3. (9.3.18) 


式 (9.3.17)—-(9.3.38) 实质 上 就 是 在 变量 分 解 zB = (2102), zw = 23 
下 所 得 到 的 (9.3.4). 将 (9.3.17) 一 (9.3.18) 代入 (9.3.14) 就 得 到 


min dr? ~ (ay +1}? — r3. (9.3.19) 


MERIH xy = 3 将 其 代入 (9.3.17) 一 (9.3.18) 就 得 到 了 (9.3.14) - 


(9.3.16) 之 解 《 -1 3 下) 利用 g* = AN aR aT 


一 2 1 0 At i 
—3)=71 1 ( . {9.3.20) 
-1 1 一 1 2 


MEX GSR Lagrange F Aj = —2, 43 = -1. 
如 果 在 经 过 变量 消去 后 的 问题 (9.3.5) 中 Hw 是 半 正 定 ， 则 在 


QU- Hn HX)on =0 (9.3.21) 
时 ， 问 题 (9.3.5) 有 界 ， 且 它 的 解 可 表示 为 
CE (9.3.22) 


其 中 至 E Rn-m 是 任何 向 量 。 H+ 表示 上 E NEE ER 
种 情形 上 ， 原 问题 (9.3.1) 一 (9.3.2) 的 解 可 用 (9.3.22) 和 (9.3.4) 给 
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出 ， 如 果 (9.3.21) 不 成 立 ， 不 难 发 现 问题 (9.3.5) 无 下 界 ， 从 而 原 
问题 (9.3.4)--(9.3.3) BÆ FF 

WU Ay 有 负 特 征 值 ， 则 很 显然 (9.3.5) EFA AER H 
题 (9.3.1 一 (9.3.2) 不 存在 有 限 解 . 

消去 法 思想 简单 有 明了， 但 它 的 不 足 之 处 是 Ag 可 能 接近 一 千 
异 阵 ， 从 而 利用 (9.3.11) 求解 o* 可 能 导致 数值 不 稳定 . 

请 去 法 的 一 个 直接 推广 是 广 浆 消去 法 ， 设 如 ,… ym 是 成 空间 


Range (A) 中 的 一 组 线性 无 关 的 向 量 ， 2 加 -mm FEE SE Null 
(AT) PHAR ERI. ie 
Y = iva Ym, (9.3.23) 
Z = [31 sn ml. (9.3.24) 
则 不 难看 出 ， 47Y 非 奇异 ， ATZ=0. > 
z 一 了 二 十 Za, (9.3.25) 
则 从 约束 条 件 (9.3.2) 即 知 
l b= Az = ATYR. (9.3.26) 
所 以 问题 (9.3.1) 一 :9.3.2) 的 可 行 点 可 表示 为 
z= Y¥(ATY)—“'b+ Zå, (9.3.27) 


EP ê eR?” 是 自由 变量 ， 将 (93.27) 代入 (9.3.1) 就 得 到 


min (9 + AY(ATY)—18)? Ze + 587 ZT HZ. (9.3.28) 
假定 ZZ 正定 ， 则 从 上 式 可 求 得 解 
B= (ZT HZY! Z" (g + HY(ATY) t5). (9.3.29) 


利用 (9.3.29) 和 (9.3.27) 就 可 得 到 原 问 题 (9.3,1)---(9.3.2) 之 解 


一 (一 ETU + HY(ATY)“3) 
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= {I — Z(ZTH ZY ZTĦ)Y (ATY) b — Z2(27 HZ) 12Ty. 


(9.3.30) 
于 是 ， 相 应 的 Lagrange AFUERA 
dM = (ATY) TYT [94 Ho") 
= (ATY) TYT [Pg + HPTY(ATY)“8], 
(9.3.31) 
其 中 
P =I- HZ2(2 HZ) 127 (9.3.32} 


是 一 个 从 R" 到 Range (A) 的 仿 射 上 映照， WE Y 适当 选取 ， 我 们 
可 使 l 
ATY =]. (9.3.33) 


此 时 ， (9.3.30) 一 (9.3.31) 变 成 
r* = PYb- Z(ZTHZ)1 27g, (9.3.34) 
入 = YT[Pg + 五 PTY 可， (9.3.35) 


从 (9.3.27) ATM, (9.3.1}-(9.3.2) 的 可 行 域 是 一 个 与 Null 
(AT) 平行 的 子 空间 ， 广 义 消去 法 正 是 利用 Z 中 的 列 向 量 Zo = 
1,.…,n 一 1m) FADE H AAA O(c) EFT RMR DIL 
成 在 子 空 间 上 的 一 个 苑 约 东 二 次 函数 极 小 问题 (9.3.28)、 所 以 ， 我 
们 称 矩 阵 Z7HZ ABEL Hesse 阵 ， 称 向 量 ZT(g + HY(ATY) lb) 
A REIRE. 

显然 消去 法 是 广义 消去 法 在 


-i ` - 
y= k | (9.3.36) 
二 
Z= | Ag An | (9.3.37) 


时 的 特殊 情形 ， 
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另 一 种 特殊 情形 是 基于 4 的 OR 分解. E 


A=0 四 =, Q ol , (9.3.38) 

其 中 Q 是 正 交 阵 ， Re RTS Fare be. 我 们 可 取 
Y ={(A = QRT, (9.3.39) 
Z =Q (9.3.40) 


对 于 任何 满足 (9.3.33) 以 及 ATZ = 0 W Y 和 ZZ, 我 们 有 
AT[Y 2] = {I O), (9.3.41) 


REZ MIR Sy HAN, 则 显然 [Y Z tIS, mHE V e Rmo 
iE 
AT]! 
[Y Z] = [sr] . (9.3.42) 


反 过 来 , 只 要 [AV] 可 道 , 则 出 (9.3.42) 定义 的 了 和 2Z 满足 472 = 
0, ATY =f. 

解 等 式 约 束 二 次 规划 问题 的 Lagrange 方法 是 基于 求解 可 行 域 
内 的 K-T 点 , 即 Lagrange H Mah fase A. 对 于 站 题 (9.3.1)--19.3.2]， 
求解 Lagrange 阵 数 稳定 点 就 是 求解 线性 方程 组 


g+ Hz = A), (9.3.43) 
ATr=b, (9.3.44) 


我 们 可 得 上 两 式 写 成 如 下 矩阵 形式 : 


A 一 过 

-0 
H -A i 
AT o] (9.3.46) 
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Hy w, 则 存在 定 阵 ur fas perm, Ww E€ Ros T € JR x 使 得 
U W] H -Al | 
AM hE AT SR AR (8.3.45) 的 唯一 解 
z* = —Ug— Wh, (9.3.48) 
AY = Wg — Tb. (9.3.49) 


只 要 矩阵 (9.3.46) 可 道 ， 则 (9.3.47) 崔 一 确定 ， 因 而 Lagrange 
静 数 的 稳定 点 也 由 (9.3.48) 一 (9.3.49) 唯一 地 确定 . 但 太古 ,了 的 
表达 形式 有 不 少 方式 ， 所 以 可 导出 不 同形 式 的 计算 公式 (9.3.48) 一 
(9.3.49), 

当 HW, AFAR M (AT 万 -14)-! 存在 ， 不 难 验证 


U = H`- #7 A(ATH™' A)“ AT HH!, 


(9.3.50) 
W = -HAAT HAV}, (9.3.51) 
T=—-(A’H tay}. (9.3.52) 
于 是 我 们 得 到 求解 等 式 二 次 规划 的 公式 : 
z* = -Hyg+H 1A(ATH i1A' (ATH g+ Ol, 
; (9.3.53) 
M* = (AT HOLA ILAT 1g +h]. | (9.3.54) 


WEY, Z 由 (9.3.42) 定义 , 且 ZTHZ APR, MU EMRE (9.3.46) 
可 道 而 且 有 


U = Z{Z2THZ2) ZT, (9.3.55) 


wW = —PTY, (9.3.56) 
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T =-YTHPTY, (9.3.57) 


"Erb P h (9.3.32) 定义 .将 (9.3.55)—(9.3.57) 代入 (9.3.48) —(9.3.49) 
就 得 到 了 求解 公式 (9.3.34)— (9.3.35). 从 而 我 们 看 出 Lagrange 方 
法 和 广义 消去 法 的 等 价 性 ， 
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积极 集 法 是 通过 求解 有 限 个 等 式 约 束 二 次 规划 阿 题 来 解决 一 
般 约束 下 的 二 次 规划 问题 . 直观 上 , 不 积极 的 不 等 式 约束 在 解 的 只 
近 不 起 任何 作用 ， 可 以 去 掉 不 考虑 ; 而 积极 的 不 等 式 约 来 ， 由 于 它 
在 解 处 等 于 零 ， 区 用 们 可 以 用 等 式 约束 来 代 奉 不 等 式 约束 积极 集 
法 的 理论 基础 是 下 面 的 引 理 . 

SÆ 8.4.1 设 x* 是 二 次 规划 问题 (9.1.1)---(9.1.3) 的 局部 极 
小 点 ， 到 xz* 也 必 是 问题 


1 
min g” e+ z7 Tir, (3.4.1) 
st. afr=6, i¢ EUI(z*) (9.4.2) 


的 局 部 极 小 点 ， 反之， 如 果 z* 是 (9.1.1) 一 -(9.1.3) 的 可 行 点 ， 且 是 
问题 (9.4.1) 一 (9.4.2) 的 K-T 点 ， 而 且 相 应 的 Lagrange EF X* 满 
Æ 


a7 o0, iele“), (9.4.3) 


则 z* 也 是 原 问 题 (9.1.1)- 一 (9.1,3) 的 K-T 点 . 

证 明 ”由 于 在 xz* 点 附近 ， (9.4.2) 的 可 行 点 也 必 是 {9.1.1)- 
(9.1.3) 的 可 行 点 ， 所 以 显然 当 ot 是 问题 (9.1.1) -(9.1.3) 的 局 部 极 
小 点 时 ， 它 也 是 问题 (9.4.1) 一 {9.4.2) 的 局 部 极 小 点 . 

Ha 是 (9.1.1) 一 (9.1.3) 的 可 行 点 且 是 (9.4.1)- (9.4.2) 区 K-T 
点 以 及 存在 AIG € Te") UF) 使 得 


Hr*+g= D WAF, (9.4.4) 
tETA* UE 
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Mi(az*-db) =0, AP PO tert. (9.4.5) 
M=0, iel, igliz”) (9.4.6) 


RUM (9.44)—(9.4.6) 可 知 


Hr*+ g= Z A qi, (9.4.7) 
i=l 
AY BO, Alaw" — bhi] = 0, ie f. (9.4.8) 


从 (9-4.7)——(9.4.8) 以 及 2* ABT FT HE e" 也 是 问题 (9.1.1) 一 (9.1.3) 
的 K-T A. 口 

积极 集 法 是 一 个 可 行 点 方法 , 即 每 个 选 代 点 都 要 求 是 可 行 点 . 
它 每 次 迭代 求解 一 个 等 式 约束 的 二 次 规划 ， 恕 果 等 式 二 次 规划 之 
解 是 原 约束 问题 的 可 行 点 则 判别 19.4.3) 是 否 满 足 ， 如 果 (9.4.3) 得 
到 满足 则 停止 计算 , 否则 可 去 掉 一 约 东 重新 求解 约束 问题 . 当 等 式 
二 次 规划 之 解 不 是 原 问 题 的 可 行 点 ， 则 需要 增加 约 东 然后 重新 求 
解 等 式 约束 问题 . 

EE k 次 送 代 ， 我 们 有 可 行 点 zh 以 及 一 个 下 标 集 合 SC 
BULA E= {1, e, Meh I= {m +l; nm} Hd, 是 问题 


1, 
min gi (2, +d) + zer ÀTH (£p +d), (9.4.9) 


st. afd: 0, $€ Sh (9.4.10) 


的 K-T 点 ， MS" © Sh) 是 相应 的 Lagrange F. WI dy = 0, 
则 知 zx 是 问题 


an 1. 
wn glen a eT EF. 
min 9 2 + z7 Hu, (9.4.11) 
s.t. als =b; i€ Sy (9.4.12) 
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的 K-T 点 ， 此 时 ， 如 果 AP > D 对 一 切 ie SOT 都 成 立 则 知 r 

也 是 原 问 题 (9.1.1) 一 {9.1.3) 的 .K-T 点. 否则, RAITA is CSN 

使 得 l o 

NX = min AP < 0, (9.4.13) 
上 iE SaM 

AS Se := Shin}, 然后 重新 求解 (9-4.9)—(9.4.10). 

设 (9.4.9)—-(9.4.10) 的 解 dy #0. 这 时 xx 十 四 有 可 能 不 是 原 
问题 (9.1.1}—(9.1.3) ETITA. RIJE zx 和 zn td, 之 间 的 线段 
上 取 靠 a, + dy 最 近 的 可 行 点 作为 下 次 达 代 的 近代 点 zk 也 就 
是 说 


Ek41 Z tp + Rk Gdid) 

. i 、 

eg = min 4 l, min r . {0.4.15} 

. feo, a dp ‘ 
alae 


下 面 ， 我 们 给 出 积极 集 法 的 主要 步 聚 . 
算法 9.4.2 
F1 BHAA oy, $ g = B Uri k=l 
步 2 RA (9.4.9) (9.4.10) 得 出 d; 
如 果 de #0 则 转 步 3; 
WMP > 0 GEND WE, 
由 (9.4.13) RE ip: 
Se := Se\fig}, tepi = Op, 转 步 4. 
#22 A (9.4.15) 计算 az: 


Thl = Tk Gd! (94.16) 
WR a, = 1 则 转 步 4, RA eS, 使 得 
a; (£k + asde) = bj, 


Ay Sp = Sy U {G}. 


F 
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步 4 Sey :二 Sa kis kth 转 步 2. 口 
从 算法 可 知 
TEX, (9.4.17) 


laera) S Uae) (9.4.18) 


对 一 切 k MA. BRE dr £0 {zx 不 是 (9-411)-(9.4.12) 的 
K-T 点 ) 而 且 ax > 0, 则 有 


RAE) < Q(zx). (9.4.19) 


SR BE A EE 则 所 求 的 点 必 为 原 问 题 (9.1.1) 一 (9.1.3) 的 
K-T 点. 

假定 算法 不 有 限 租 止 ， 由 于 只 有 有 限 多 个 约 柬 ， 所 以 Sk 中 
的 元 素 个 数 不 可 能 无 劳 次 增加 而 不 减少 ， 故 必 有 无 穷 儿 个 天 使 得 
dy = 0. FRARAE k 使 得 x, 是 (9.4.11)—(9.4.12) 的 K-T 
点 ， 由 于 只 有 有 限 多 个 约束 ， Sh 只 可 能 有 有 限 个 不 同 的 集合 . 于 
是 必 在 在 ko 使 得 


(YI = Ore) (9.4.20) 
M—k > ko HIRE. ATOR HE— k ko 
a, = 0 (9.4.21) 
与 
dy =O (9.4.22) 


两 者 必 有 一 个 成 立 - 由 于 约束 个 数 的 有 限 性 , 算法 不 可 能 只 增加 约 
东 而 不 减少 约束 ,也 不 可 能 只 减少 约 东 而 不 增加 约束 . 所 以 ， 必 定 
BERET k 使 得 

dr #0 (9.4.23) 
REY, PALALA k E (9.4.22) 成 立 . PELLE ko > ki > ko 
使 得 : 

dy, = 0, (9.4.24) 


- 441 : 


dy, = 0, (9.4.25) 
dp #0, ki <k < kg, (9.4.26) 
E k> ky $1. H (9.4.98) 知 存在 A 使 得 


g+ HE= YO ad), (9.4.27) 
ESk . 


其 中 T = Figs 由 (9.4.22)—(9.4.22) sn xt—- k 2 ko 都 有 tk F. 
由 于 de,41 #0, oe, 41 = 0, BIE 


jE Sean 04.28) 
使 得 了 了 € Sh, 425 HE 
je 12), (9.4.29) 
T 
at dey <0. (9.4.30) 


由 于 ds 是 通过 求解 (9.4.9) 一 (9.4.10) 得 到 的 ， 我 们 有 
(g + Hā) ay 41 <0. (9.4.31) 
AU (9.4.27), (9.4.31) WR Skri = Se ia} 可 得 
Mat de <0. (9.4.32) 
h {in} 的 定义 知 MEY < 0, 所 以 
ay, dri 20. (9.4.33) 


比较 (9.4.30) 和 (9.4.33) 即 知 j A irm PLUG, AM (9.4.28) of 
TE Sia- 

AF, BRA jE Shi ra C Se. WRATH Sh 天 Sky, M 
而 可 知 ， 至 是 两 个 不 同 的 等 式 约束 优化 的 K-T 点 ， 但 在 这 两 种 情 
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形 下 ， 19.4.3) 武 不 满足 ， 这 种 情况 ， 我 们 称 之 为 退化 ， 它 可 能 导 
致 算法 无 穷 御 环 ， 这 种 退化 情形 与 线性 规划 的 退化 情形 相似 . 

MALEH SATa A. On FURR, ME Ab uli e BUT(E)) 
BERNE TERIA ATEM. 

定理 943 BAS zk HAA 9.4.2 产 牛 ， 恕 果 对 任何 天 都 
有 有 

a; (Gie EUI(axx)) (9.4.34) 

线性 无 天 ， 则 算法 必 有 限 终 止 于 问题 (9.1.1) 一 (9.1.3) 的 开工 点 或 
考 原 问题 尤 下 界 . 

证 明 BEHARA W {zx} DR. EA 9.4.2 不 
有 限 终止 ， 从 上 面 的 分 析 知 存在 ko 使 得 re = 2 (VE 2 ko). dt 
ko Ski < ko <->. 是 所 有 使 dp =0 的 下 标 集合 - 如 果 存 在 


kya = hy th. (9.4.35) 
MIH tiry € Sa; 但 tyeyy Z Skta 可 知 
Qj {i € Se) 


ERTEAN, CS (9.4.34) 线性 无 关 相 政 盾 ， 折 以 我 们 有 


kil > ky +1 (9.4.36) 


对 一 切 j 都 成 立 ， 根 据 Si 的 构造 ， (9.4.36) 表明 Sy, 中 元 素 个 
数 不 少 于 Se 中 的 个 数 ， 由 于 约束 个 数 有 限 ， 所 以 对 一 切 充分 大 
的 了 有 


Kya = hy + 2. (9.4.37) 
从 (9.4.37) 武 可 证 
Hep E Stas} (9.4.38) 
于 是 可 得 
ai (iE Seep US] (9.4.39) 
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必 线 性 相关 .这 与 (9.4.34) 相 了 矛盾 . 口 

外 9.3 节 的 绩 果 可 知 , WE H E Se EAE, M (9.4.9) 一 
(9.4.10) BU ARIE FA. BURT SR AGA K di TE aldy = 0 (vi € sa) H 
4 . 


di Hd; <0, (9.4.40) 
或 者 
(g+ Hay)? dy <0, df Hd, =0. - (94.41) 


和 如果 对 一 切 i¥ Sk WH afd, 20, WB Hy RA (9.1.1)—(.1.3) 
ArH. 否则 ， 我 们 可 找到 ig Se Holdi <0. FRY a>O 
充分 大 时 retad, 必 不 是 (9.1.1) 一 [9.1.3) 的 可 行 点 ,在 这 种 情形 
下 ， 我 们 可 取 ar 尽 可 能 大 且 wx + and, 是 可 行 点 . 

算法 9.4.2 需要 一 个 可 行 的 初始 点 ， 这 等 价 于 求解 线性 系统 


A} x = hy, (9.4.42) 


AF z > by. (9.4.43) 


595 对 偶 方 法 


对 于 凸 的 二 次 规划 问题 


l. 
min gat gt He = Q(z) (9.5.1) 
st. al w=b, ie B; (9.5.2) 
Pepb, iE 9.5.3 
afta ph, ied. (9.5.3) 


其 中 HOMIE. M 9.2 节 我 们 知 它 的 对 但 问题 为 


min —(6 + AHTI A + SAT(ATH LADD 
* (9.5.4) 


+ 444 - 


st. A; BO, Erk (9.5.5) 
考虑 对 (9.5.4) 一 (9.5.5) 应 用 积极 集 法 , BEER SRA 和 CE 


; pe i 
min —(6+ ATH IgE A + =\T (ATH IA) 
AcR™ 2 (9.5.6) 


- st. A; =O, iE, (9.5.7) 


EK-T A. RPS CIAM EMMA TEN $ 


Ek == —H lg 一 Adz), (9.5.8) 
un 
Hre + g= Aik, (9.5.9) 
而 且 出 
(b+ ATH lg ~ ATH Ashk =0, Wid Sy, (9.5.10) 
a 
(Av 2, —6),;=0, Vig Sp. (9.5.11) 
TU, zy FER 
T 1 
; at 二 
min g's + 3% zx (9.5.12) 
st. az= bp, i¢ S;, (9.5.13) 


W K-T Af. iE Sr = UUE Se, WM (9.5.12)---(9.5.13) 与 (9.4.11)— 
(9.4.12) 是 一 样 的 , 不 难看 出 , RE (9.5.6)-…(9.5.7) 的 Lagrange 
(A? H AX, —b— ATH gh 


= (AT rp ~ b)i = al wp = bi iE Ëp 
(9.5.14} 
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我 们 要 求 Ap 是 (9.5.4) 一 {9.5.5) 的 可 行 点 ， 如 果 对 贷 问 题 (9.5.6) 
(9.5.7) 的 Lagrange HEY (9.5.14) 非 负 ， 则 zs 是 原 问题 (9.5.1)-- 
(9.5.3) 的 K-T A. 记 Ay 为 向 量 ali E Sy) 组 成 的 矩阵 ， 也 为 出 
Ap 中 对 应 于 iE Sh 的 分 量 所 组 成 的 向 量 . 由 (9.5.10) 可 知 


bt+ulH-'g—-aF HUA, =0, 1 Sp. (9.5.15) 


i BH 4 ATH! g — ATH Arin = 0, (9.5.16) 

其 中 a) by b rp i cS, 的 分 量 所 组 成 从 (9.5.16) 可 知 
An = (ADH A) 10) + APH 1g]. (9.5.17) 

当 Lagrange RFP (9.5.14) 不 全 非 负 时 ， 册 积极 集 方 法 可 知 ， 


我 们 应 在 5 去 掉 一 个 下 标 in 也 就 是 在 S 中 增加 一 下 标 ir 为 
了 记号 简单， 我 们 记 i WP. 于 是 有 Skp = S,U {P} id 


Arpi = (i) + (5 ) . (9.5.18) 


由 (9.5.17) 林 知 

ATH lAs APH la,\ /8X 0 

bret Pert = z ， (9.5.19) 

aH Ak a, Hiap Be bp 一 Oy Tp 
所 以 有 

一 i _fAary-i —t aT rr— 

Ag+1 = (%) + As ( (ApH Ax) Api ee . (9.5.20) 
对 应 地 


Teyi = tp + H'AR (ie: 一 加 ) 


= Th + BH HT — AKAP HIAR) AL H Dap. 
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Ay = (AR HT Ag) ApH, (9.5.22) 
Ya = ALG. (9.5.23) 


由 于 Asp 应 满足 Aga 20. JA (9.5.20) 和 (9.5.23) 知 
Aris 


0O< S&S min ei (9.5.24) 
CRIs =O 
如 果 
H(I — AA} ap = 0, (9.5.25) 
而 且 yi < 0, a) 

(yn. 1)" (Ad, H Anya) (=) =0, (9.5.26) 

(yp. LT (8+0 十 AT 4719) =6, - al Ep > 0. 
(9.5.27) 


从 上 两 式 即 知 癌 题 (9.5.4)- 一 (9.5.5) 无 下 界 ， 由 对 偶 理 论 可 知 原 问 
题 (9.5.1) 一 (9.5.3) 无 可 行 点 . 
利用 上述 分 析 ， BANAT HE Goldfarb 和 idnani (1983) (AH 
ERGE F (me = 0 的 情形 ) 
算法 9.5.1 
步 1 oa =-H tg f= TEN S 一 更 大 :一 1 4 = ĝ, 
gO. 
步 2 计算 ri = b- afre i= 1,---,m,; 
如 果 m <0 则 停 ; 
E PIER r= mani 


ue (F) 


步 3 dr = Arap = HHI — Ak Ahan; yx = Agapi 
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如果 {ijr > 0, f E Se EENAA 


' Agl 入 

eg = min ids = ( ee (9.5.28) 
dgn (Va); (Yehi 

ESk 


否则 令 ax = x. 

OR de 40 WHA 5; 

如 果 ax = cc 则 停 CL] LG BAT A); 
Sk SA 全 一 


An i= Ap +o; (¥); 


修改 4x 和 Hy: 转 击 3. 


T 
P 


ar :一 minak &}; 


4 T 
& = —(bp — ap Tk) aF dk, 
Zk+ :一 Bk 十 CR 


1 _ 
feta = fr + arag dy (Son + COPE 


Arpi = Àk + Ox (+). 


如 果 a, < & MPH 7; 

Skt = Ik U {ph 9 和 十 1 

计算 Hey, 和 Al. R= R+ 1; HEH 2. 
Se = SMO g := 4 o Li 

从 Xx PAB SSE, BET AL; 
重新 计算 A. 和 Aq; 转 步 3. o 


下 向 我 们 给 出 一 个 利用 对 偶 算 法 9.5.1 的 简单 例子 . 
fl 9.5.2 
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. 1 1 1 
min z7 十 372 + 523 — 322 — 23, (9.5.29) 
s.t. — zi — f} — T3 > -1, (9.5.30) 
w3 ta = —l. (9.5.31) 


这 个 例子 是 问题 (9.3.14) 一 (9.3.16) HY ee. T H mE- ARR 


是 ~1, 5, 5): 利 几 算法 9.5.1, 我 们 有 


0’ 
z1 = —H lg=| 3 ) 
1 


Ti = a s 0, 
r= -1<Q. 


于 是 我 们 有 p= 1, FA 


一 了 
dy =H a, = 一 工 + 
—i 


(9.5.32) 


(9.5.33) 


(9.5.34) 


(9.5.35) 


因为 5 ERE, o 在 第 3 步 中 为 oo. 在 第 5 步 中 我 们 有 


a= —ri/ap dy =i], 


于 是 al RRA â=1 HA 


-1 
z = £; to jd, = | a 
0 


所 以 ， 经 过 一 次 选 代 后 得 到 的 rz 就 是 问题 


1, 1 1 
: 2 2 2 
min zri + 523 十 373 — dro — £3, 


2 2 
st. — ži — čo— 73 =~] 
的 解 . 在 第 二 次 选 代 ， 我 们 有 


ry =O 


(9.5.37) 


(9.5.38) 


(9.5.39) 


(9.5.40) 


(9.5.41) 


(9.5.42) 
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rm 一 -1 <0. (9.5.43) 


Tie p=2 8 


1\ 1 0 0 
d = H |7- (|1| saan -i |= {1 -1 |. (9.5.44) 
9- 


HF ye = afar = 0, MEW 3 FA ag = cc. 在 步 5 中 我 们 有 


1 
Â = —ra/a3 da = 5 (9.5.45) 


1 
~1 if 0 3 
T3 = 02+ zdy = | —1 +3 -1| = 2 上: 
-1 1 i} (9.5.46) 
o 2 


Ag = (1) . (9.5.47) 
2 


zs 就 是 原 问 题 (9.5.29) 的 解 ， As 是 相应 的 Lagrange $T. 
在 具体 计算 中 ， Goldfarb 和 Idnani 建议 用 H 的 Cholesky 分 

解 . ， 
H = LLT, (9.5.48) 


以 及 对 矩阵 了 Ay 进行 QR 分 解 ， 即 


Lo Ag = Qr a] . (9.5.49) 


这 样 做 址 直接 利 几 A Sa eS. 
Powell 发 现 分 解 技巧 (9.5.48) 一 (9.5.49) 仍 可 能 出 现 数值 不 稳 
定 ， 于 是 他 建议 采用 


Ax = Qe 四 = (Qe?) [a] , (9.5.50) 
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$8 GE REBEL Hesse BE (QU? HOU! 的 反 Cholesky 分 解 ， 邯 
UU? = QT HQ, (9.5.51) 


其 中 U 是 上 三 角 阵 ， Powell 给 出 前 算法 每 次 选 代 修正 Qk Rs 
AU Up. 
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内 点 算法 是 指 每 个 近代 点 都 是 可 行 成 的 内 点 的 算法 Kar 
markar (1984) 提出 一 个 求解 线性 规划 问题 的 内 点 算法 .Ksrmarkar 
算法 不 似 具 有 较 好 的 理论 性 质 , 即 它 是 多 项 式 时 间 算 法 , AA a 
的 数值 和 例子 已 表明 它 是 一 个 十 分 有 效 的 实用 方法 . 自前 ， 失 点 方法 
是 线性 规划 研究 的 热点 ， 也 有 人 研究 用 内 点 法 求解 非 线性 规划 . 

EE, FARA Ye 和 Tse 1989 年 的 二 次 规划 内 点 法 作 算 单 
介绍 . 


考虑 凸 的 二 次 规划 问题 
. 1 . 
1 了 ig? = OM; 95 
ming g+ 37 He = Qir), (9.6.1) 
st. ATr =b, (9.6.2) 
z2 0. (9.6.3) 


ROA zx 是 一 内 点 ， 即 


Ala, = b, (9.6.4) 
zk > 0, (9.6.5) 
xe MISE 
Dy = z . (9.6.6) 
0 { 
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作 变 量 代 换 了 := The W F 
+ DDE Eh 
-p T= eT Dr's 十 1 3 


Eng y= n+ L/[e7 p'e + 1), 
则 将 问题 (9.6.1)-(9.6.3) 化 成 


` ~ 1 
sn ,全 mn 一 1 OT, ê) 


st. AT Dpâin] ~ F511b = 0, 
ef sun+l 


a(n] 20, fng > 0. 


Hp e = (1,---1)7; Sn] = (@1,--- $n). 
从 (9.6.7)-(9.6.8) 可 得 到 关系 式 


z = Ty) = Drêfn]/fnyi, 


HEREA (9.6.9) 就 得 到 (9.6.9)-(9.6.12) HBB: 


nn i. Ao oar gaa 
minĝg[n] + zil Hetin] j/a 


åf 20, ênir > 0. 
其 中 
Ay = Dp HD, 
Ge = Dag 


(9.6.7) 


(9.6.8) 


(9.6.9) 


(9.6.10) 
(9.6.11) 


(9.6.12) 


(9.6.13) 


(9.6.14) 
(9.6.15) 


(9.6.16) 


(9.6.17) 


(9.6.18) 


(8.6.18) 


b= (9.6.20) 
n+l 


HERA ODERA zs H ce MARTE MS RA 2 =e 
附近 求解 (9.6.14) (9.6.16). 于 是 ， 把 条 件 (9.6.16) 加 强 成 


| 一 ela = 3 <1. (9.6.21) 


显然 ， 只 要 (9.6.21) 成 立 则 条 件 (9.6.16) 必得 到 满足 ， 因 此 ， 考 处 
子 问题 


1 

ming. é[n] + zin] Hèn] ns, (9.6.22) 

st. Ape = b, (9.6.23) 
ê- el: <8 <1, (9.6.24) 


B<18B-5SkEKH ERR. AQ Kubn-Tucker 定理 ， 我 们 知 
SK AR (9.6.22)—(9.6.24) 等 价 于 


ôk + Srl Hrsln) = 如 [mA — e), (9.6.25) 

5 LT Azan] = (a, y a tulênp = 1) = 6, 
ntl ; '9.6.26) 
AT =b, (9.6.27) 
lē —ell2 < 8; (9.6.28) 
aflê —ell2-6])=0, #6 (9.6.29) 


其 中 Ax[n] 是 Ay Hal n ERER a, 是 Antl 
行 。 将 (9.6.25) 和 (9.6.27) 与 成 证 阵 形式 : 


P, he = Eb + Ë, (9.6.30) 
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_ | Hi + pd -Ainl| l 


z = (9.6.31 
Pe= | Ain) 0 9-631) 
_ he . i pe 
b=] è |, =] © |, (9.6.32) 
[oJ] n+l . 
Lie ， 
N= Pagid, fe = Ën ‘9.6.33) 


PAL, METS @ > 0, 我 们 可 由 (9.6.30) R A M tin, 然后 
将 求 得 的 入 和 zn] 代入 (9.6.26) 式 即 可 得 到 inyi 于 是 ， 对 任 河 
fi > 0, WaR blâ) 定义 函数 


h(a) = I18(A) — eiz — 8. (9.6.34) 


旭 果 RCO) < 0 Wa E10) 是 问题 (9.6.9)--(9.6.12) 之 解 ， 在 这 种 情 
E F z = Dypz(O0)[n}/2(0) 41 是 原 问题 的 解 . 

WE RO) > 0, 由 于 Jim, hyd = -8 < 0, 可 用 对 分 法 求解 Ar 
使 得 ACen) = 0. 从 而 可 得 到 问题 (9.6.22)--(9.6.24) 的 解 E(u). 将 
(fn) 变换 回去 就 得 到 下 一 次 远 代 点 Ca Bp 


DF (tt [a] 


= ; (9.6.35 
P(e n+l ) 


arpi = Tp B(x) = 
其 中 SA) [mn] = (Blea). P(e ln). 
现在 ， 我 们 可 给 出 一 -个 求解 四 的 二 次 规划 的 内 点 算法 如 下 ， 
算法 9.6.1 
步 1 Be (9.6.1)—(9.6.3) 的 严格 内 点 m; :二 1. 
步 2 RAR (9.6.22)-—-(9.6.24) 给 出 $iws); 利用 (9.6.35) 计算 


， Dees 
23 WME rey E K-T AHS; 
k= k+ i $636 2, o 
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$t m 函数 法 


8i01 H K 数 


对 于 约束 规划 问题 (8.1.1) 一 (8.1.3) 的 罚 函 数 是 指 乔 用 目标 函 
数 f(z) 和 约束 函数 ce) PAE B RA TOMEI” 的 函数 


P(z} = P( fiz), elz). (10.1.1) 


所 谓 “ 罚 人 性质 *, 即 要 求 对 所 有 (8.1.1 (8.1.3) MAA £e XH 
有 P(x) = f(a); 而 且 当 约束 条 件 破坏 很 大 时 有 Pl) 远大 于 Fle). 
为 了 精确 地 朱 述 约束 条 忻 被 破坏 的 程度 ， 我 们 定义 约束 壕 反 度 汪 
数 CO (a) = (ee h eT 如 下 


ir) = elz), i= l,e, Mej {10.1.2} 


{ 
of (xr) =minfO,e(2)}, t= me +l, e,m. 
:10.1.3) 


我 们 定义 集合 


C = {cic ER”, og =O0,2€ Ec OE TS, (16.1.4) 


AEM. r ERIAK ce) eC. TERAH. MEA ce RY 
都 有 
le! (x) ls = dist felz}, C. (10.1.5) 
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式 (10.1.5) 右 喘 的 从 总 到 集合 的 矩 离 的 定妆 如下 
dist (2, Y) = min{llzs ~ yz |y E Y} (10.1.6) 
正 由 于 美 系 式 (10.1.5), 我 们 称 He) RE Bw 
莉 函 数 一 般 可 表示 为 日 标 果 数 与 一 项 与 ctx) 有 关 的 “说 项” 
ZA. Bp 
P(x) = f(x) + A(t (2)). (10.1.7) 


TIW h(a) 是 定义 在 RR” LEAR CWE 


h{O} = 0, {10.1.8} 
lim Af{e} = +00. (10.1.9 
Pie {c} | ) 


RFA Ti ok Bee Courant 许 函 数 ， 它 定义 如 下 


P(x) = fa) + ojo ayj: (10.1.10) 


其 中 = > 0 #—-ERR, CRRATIAT. BH, (10.1.10) 是 
(10.1.7) 取 A(c) = oje? 的 特殊 情形 . 事实 上 对 R” 中 任何 范 数 
里 以 及 任何 a > 0, AK hie) = ojele 都 满足 (10.1.8 和 【10.1.9). 
FeRAM PREM: 


P(x) = f(z) + oie aye. (10.111) 


其 中 oa > 0 是 罚 因子 ，a > OUR ||| ZR” PHR-WR. B 
(10.1.19) 9h, WAR (10.1.11) 的 男 两 个 特殊 形式 是 


Pile) = Fr) + allo (2x) II, (10.1.12) 
Poot) = f(z) + oC} Cr) lle; (10.1.13) 


它们 分 别 被 称 为 Ly HAH Lo mAg. 
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如 果 别 函数 在 可 行 域 的 边界 上 取 值 为 无 穷 ， 则 称 为 内 点 罚 函 
数 ， 内 点 罚 函 数 仅 适合 于 不 等 式 约束 问题 ， 即 me = 0 的 情形 . 两 


个 常见 的 内 点 罚 函 数 是 倒数 罚 函 数 
Pie) = fla) to Di '10,1.14) 
jor CNT 
FAT Ae TT] Pe Be 
P(x) = ffrio? Slog esiz). 110.1.15) 


因为 内 点 久 阻 数 在 可 行 成 的 边界 上 无 界 ， 如 果 给 定 一 初 奴 点 村 可 
行 域内 部 , 由 利用 求 罚 一 数 极 小 所 产生 的 点 列 全 都 是 内 点 . 从 几何 
上 看 ， 内 点 罚 画 数 在 可 行 域 的 边界 上 形成 一 墙 无 穷 高 的 “障碍 谨 ”， 
PT EA a T RR BE AE OA pE TE T e B- 

Wc” 是 约束 优化 问题 (8.1.1) 一 (8.1.3) #9 K -T AL, WAA (10.4.10) 
可 知 VP{2*) = Vf le"). 所 以 e 一 般 不 是 Courant Ved Brad Fe 
定点 为 了 克服 这 一 下 好 的 性 质 ， 我 们 引入 参数 让 {i = 1 ,rn)， 
6: BOE me 二 Dm) de 0 = (f, mn)". eB (10.1.10) by 
得 


PO) = Fe) + 7S (ln) — 9] — 02 
t=1 
= Fa) +O [= weile) + Zalet)? 
i=1 
] - Ai 
m Taca) e olal, WR fe) +; 
2 Fi 
+ 5 
| ~ 5A fan. 否则 (0.1.16) 
其 中 
A = Tb, iSl, m. (10.1.17) 
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YA BE (10.1.16) 形式 上 可 看 成 是 Lagrange HH (8.2.26) 如 上 一 项 

ATURE, ACRE RAH Lagrange WAY. ike” 是 约束 

优化 的 K-T 点 ， ANG = 1,---m) 是 相应 的 Lagrange RT. WT 

于 用 AGG =1,---m) 构造 的 增 广 Lagrange HAGAE Plz*) = 0. 

但 在 约束 规划 问题 求解 之 前 ， Lagrange FOF FF AH. BORE WY 

广 Lagrange 冰 数 的 中 将 数 方法 需要 逐步 修正 乘 子 入 (i = Lm). 
对 于 等 式 约 束 问 题 (me =m), 可 定义 


A(z) = (Alx) giz), (10.1.18) 
其 中 A(x) = Vele)”, gs) = Vf(z}、A+ RRE A WE NE 
BE. EF AC) 是 问题 
min, [vsez) 国 > Velo (10.1.19) 
的 最 小 二 范 数 解 AEF (10.1.18), 我 们 可 给 出 Fletcher 光滑 精 
确 罚 函数 如 下 : 


、 y Len 
Pla) = F(a) — Mix)" efa) + 5 $7 olele), (10.1.20) 


tl 


oi > 0 (i 二 1.…m) BRAY. 设 x* BS ARMS Alo} 
列 满 秩 ， 


VaP(a") =g") — Ate)" = 0, 
Vi Pla”) =W* + AAW 


+ W Ate Ala" + ADAE"). 
(10.1.21) 


其 中 D = diag fo, Etta Ton) DA Re 


W* = VP F(a") POA V? cla") 
i=1 


= V2 L(t, A"). (10.1.22} 
引 理 10.1.1 WA c R” OR ACR. 如 果 对 任何 
满足 于 ATA =0 的 非 零 向 量 都 有 
dTHd»> 0, (10.1.23} 
则 必 存 在 = 郑 0 使 得 
H-+oAA™ (10.1.24) 


是 一 正定 矩阵 ， 
证 明 REBIT GE ê> 0, ME JA di < 6 E |d| = 1 
则 必 有 (10.1.23 RE. 考虑 


a? Hd 


mun 一 一 二 
aT alg zs AT d||3 
Jato =t 


(10.1.25) 


由 于 集合 {a| lele = 1, ||AT dll, > 6} ZARAR E (10.1.25) 
的 极 小 值 必 可 达到 . 故 存 在 了 使 得 对 一 切 a€ {al |ldllz = 1, 47dl> > 
5} 都 有 


ad Hd 
War ale >n. (10.1.26) 
4 a = max{-7,0}. SEEM d WA |aliz =1 我们 都 有 
d (H +oAA™ jd > 0. (10. 1,27) 
所 以 引 理 成 立 . J 
在 二 阶 充分 条 件 
d’W"d>0, voFd, A*™d=0 (10.1.28) 


的 假设 下 ， 从 上 面 引 悍 可 知 存在 了 SO 司 得 当 所 有 ci 之 5 时 由 
[10.1.21) 定义 的 矩阵 


Vi Piz’) (10.1.29) 
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是 正定 阵 - 从 而 我 们 可 证 zx* b ETAR Pio") 的 局 部 严格 极 小 
A. TER AIK — PERE, TZ (10.1.20) 被 称 为 精确 罚 函 数 . 

如 果 增 广 Lagrange EA HART A 正好 是 在 解 z* 外 的 La- 
grange ET As, UAE AAP (10.1.28) 的 假设 下 可 证 et 也是 增 广 
Lagrange HĀ $k (10.1.16) 在 oj 足够 大 时 的 极 小 点 . RE, Fs 
子 选 取 适 当 的 假定 下 ， 增 广 Lagrange 函数 也 是 一 个 精确 罚 也 数 . 

Ww Li flee, mR 


o> I" lo. (10.1.30) 


则 在 二 阶 充分 条 件 (10.1.28) 的 假定 下 可 证 x* 是 La TM (10.1.12) 
的 局 部 严格 极 小 点 ， 所 以 L 罚 丙 数 也 常 称 为 L1 精确 罚 函 数 . 类 
PARR GT DE Loo THA SOE ER ye TIa M. . 

- AP AR OL R K-T 点 一 般 不 是 Courant fp (10.1.10) 
的 稳定 点 ， 所 以 Courant 罚 函 数 是 非 精确 罚 范 数 ， 


810.2 简单 罚 函 数 法 


纠 画 数 法 就 是 通过 求解 若干 个 罚 函 数 之 极 小 来 得 到 约束 优化 
刘 题 的 极 小 点 的 方法 .考虑 简单 罚 函 数 


Pole) = f(z) + olle (x), (10.2.1) 


Rite >O AMAT, mw > 0 是 一 正常 数 ， 以 及 站 .中 是 了 及 m 中 一 
给 定 范 数 ， 我 们 记 zfc) 是 问题 


min P(r) (10.2.2) 


rek 


的 解 ， 首 先 我 们 有 如 下 引 理 
引 理 10.2.1 io, > og: > 0, We 


f{x(o2)) 2 fla(ei)), (10.2.3) 
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Je Heto] < [lel Calor Yt. (10.2.4) 
证 明 由 zic) WEN. RNA 
P, lelo) 2 Palela) (10.2.5) 
of) 2 Po.(e(e2})- (10.2.6) 
从 工 两 式 和 冠 习 【10.2.1) A% 
0 < Palela) ~ Palela) — [Pox (#(o1)) — Pos (e(oi})] 


= (01 — oa)lle (e(o2))||* iele]. 
(10.2.7) 


所 以 (10.2.4) 式 成 立 ， 利 用 (10.2.5) 和 (10.2.4), 我 们 有 
F(2(o1)) < F(x(e2)) + oullle (aloo) HI ~ lle lor IA] 


< f(x(e2)). (10.2.8) 
放 知 (10.2.3) 成 立 . 已 
引 理 10.2.2 4 6 = |! {elel Mele) 也 是 约束 问题 
min f(x}, (10.2.9) 
s.t. le al < E ‘10,2.10) 


的 解 . 
TEAR ”对 任何 满足 于 【10.2.10) 的 æ, 我 们 有 


0 过 ae 人 ztcDils ~ fe"? (wii) 
= P,{x(o}} — fle(o)) - Pote) + f(x) 
=[Fe(x(o)} ~ Pole] + fle) ~ flele)) 
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"< Fe) Helo). (10.2.11) 
所 以 对 任何 满足 于 (10.2.10) 的 > 都 有 
fla) > fæle), (20.2.12) 


故 知 zfey 也 是 (10.2.9), (40.2.10) 的 解 . 
根据 约束 违反 度 函 数 c(-)(z) 的 定义 , 原 约 束 优化 问题 (8.1.11 一 
(8.1.3) 可 等 价 地 写成 


min fiz), (10.2.13) 
s.t. lém {a = 0. (10.2.14) 


所 以 ， 当 5 充分 小 时 ， 问 题 (10.2.9)—(10.2.10) TÆ (10.2.13) -- 
(10.2.14) 的 一 个 近似 .大 而 可 把 e(o) 看 成 原 问题 的 近似 解 ， 事 实 
E., A518 10.2.2 可 知 ， 当 ero) =O0n, z(e) 正好 也 是 原 
问题 (8,1.1) 一 (8.1.3) 之 解 . 
罚 函 数 法 的 基本 点 就 是 每 次 选 代 增 加 罚 因 子 o, 直到 使 ef 
(zio) 缩小 到 给 定 的 误差 范围 . 下面 给 出 的 是 利用 简单 镜 商 数 
(10.2.1) By T ek Bee. 

算法 10.2.3 

步 1 Bea SR" eo, > 0,6 20, k=l. 

步 2 利用 初始 值 zk 求解 


min Posl), (10.2.15) 


HE rlogh 
BS WR r <e ME: 
TRL = TOF]; Fee, = 100; 
kis k+l $6 3b 2. 
关于 算法 10.2.3 的 收 僵 性 ， 我 们 有 如 下 结果 . 
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定理 10.2.4 BSH 10.2.3 中 的 = 满足 


z> min lle? (29), (10.2.18) 
TER™ 


Dl SF thw A PRK Ik. 
证 明 ”假设 定理 非 真 ， 则 必 有 os 一 toc BH BE 


liT Heleri > e (10.2.17) 


H (10.2.16), FE å c R” 使 得 


lema < e- (10.2.18) 
利用 ei) 的 定义 ， 我 们 有 
FE) + ole EN 2 F(wlon)) + elle’ (ela) IP 


> fleir) + reile (aon). 
(10.2.19) 


其 中 Flor) 2 fiza) 是 根据 (10.2.3) 得 到 的 . 于 是 ， 念 ak 一 
+00, 我们 有 


> (aye -le (alo 


> LF) -FS -> 0. 
7% (10.2.20) 


这 与 (10.2.17)—-(10.2.18) AAP. PRUE Aa E. al 
MT EES, RGU A PT TT A. MAET SEB e > 
0, 算法 10.2.3 MARA ET HRE (10.2.9) 一 (10.2.10) WAR H 8 Se. 
定理 10.2.5 ”如果 算法 10.2.3 PMA ib, WA 


min |é ()| = e (10.2.21) 
ERT 


lim | Hri I| = min él, (10.2.22) 
k— 00 ， reRe 
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{alon)} 的 任何 这 点 x* 都 是 问题 


.2.23 
min f(x), (10,2.23) 
st eo) = min |e (a) (10.2.24) 


的 解 ，. 
证 明 BERTARA. HEH 10.2.4 即 知 (10.2.21) 成 
:出 于 ax 一 +00, 利用 (10.2.20) 知 ， SET EA ô GR” 都 在 


jim infle E — loo Calor JET] > 0. (19.2.25) 


LH SM BY Ay) (10.2.22) È. 

Haet E efo) DAERA. 由 (10.2.22) 知 z* 必 是 (10.2.24) 
ATITA. 如 果 a* 不 是 问题 (10.2.23) 一 (10.2.24) > A, WEE 
使 得 


F(E) < f(x"), (10.2.26) 


H 
ile (@) = min jle yy. (10.2.27) 
yER 


由 引 埋 10.2.1 知 F(a(ox)) 单调 趋 于 f(x*), BOA (10.2.26) 可 知 不 
F(E) < f(x(oi)) (10.2.28) 


RFE AW k R m (10.2.28) 和 (10.2.27) 表明 
Py, (#) < Pa (2(o%)}). (10.2.29) 
RH x(ox) HELETE. 矛盾 说 明定 理 成 立 , m 
其 上 面 两 个 定理 可 直接 导出 下 面 推论 . 
推论 10.2.6 ii BM (8.1.1)—(8.1.3) ATIT A, 则 算法 10.2.3 
we Af PRE EP (10.2.9) 一 (10.2.10) 的 解 ， 或 产生 点 列 {zs} 使 其 任 
向 又 点 都 是 原 问 题 的 解 . 


: 464.- 


对 于 Courant WES. AN || =] ila a= 2, 我们 有 


VEEE) + 2on Y el (alon)) Vel elor) = 0. (10.2.30) 


i=1 


假定 算法 10.2.3 FEIER AJ {ce} KAF r", 我 们 有 
Vi (teq1) = Ss MT Te (apes); (10.2.31) 
i=] 


其 中 
yen) 一 


-i 


—20gpet (p41). (10.2.32) 


所 以 ， 由 (10.2.32) 式 定义 的 乘 子 At) 是 在 z* 处 Lagrange RF 
的 一 个 近似. 不 难看 出 , 如 果 a, > r“, lat) = 0 A Valet) (i € 
EU F(a*)) 线性 无 关 ， 则 有 AH 全 2*. 出 于 一 般 情 况 下 | lo £ 0, 
M (10.2.32) 式 可 得 


= = Ollie (eesa}Ila) = Oller — °l). (10.2.33) 


另 一 方面 ;从 (10.2.31), éz") = 0, [AFP 一 Ar = Oleks+i 一 
a* ||) 可 得 到 


Wr —A* Beri 一 z* 0 o 
i $ = + z 一 z*|l), 
-aT o (k+) _ fx (ete es) (llzn41 — 2" (I) 


E (10.2.34) 


其 中 

W* = Vt Le, A"), (10.2.35) 
A 是 由 列 向 量 Vc;(z*) (Ge E RAN > 0) HARRER AT 
le AT 中 对 应 iE 如 或 米 >0 的 分 量 所 组 成 的 向 量 ， AA+) 和 
Elzp+1) 的 定义 闻 A*. 由 (10.2.32) 知 

lêz) = o(=). (10.2.36) 
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如 果 二 阶 充 分 条 件 (83-30) (8.3.31) PE NJA pY 


| Me 2 (19.2.37) 


是 非 奇异 的 .利用 (10.2.34 和 (10.2.36) BD at 


lek — a`] = o(=). (10.2.38) 


于 是 ， 从 上 式 和 (10.2.33) 式 我 们 可 以 看 出 ller -~ 2*|| ARF 0 
的 速度 是 与 = 收敛 于 0 是 一 样 的 ， 这 一 现象 可 从 下 例 中 看 出 . 
例 10.2.7 


- min 214 fe, (10.2.39} 
(a ,22)€R? 


st. 2-27 = 90. (10.2.40) 


对 于 Courant aR. RNA 


1 
-5 0 
gir) = ] a 一 2 一 B > (10.2.41} 
4 Qo 2 
其 中 et = (- a) Æ (10.2.39), (10.2.40) 的 唯一 解 . 所 以 ， 利 用 


Courant Ti pM MR 10.2.3 将 会 产生 点 列 {zi} 满足 
011 
Tey1-x" = 图 元: (10.2.42) 


由 此 可 知 ， 利 用 Courant 罚 函 数 求解 药 束 优化 问题 往往 需要 很 大 
的 罚 因 子 ， 从 而 使 求解 罚 函 数 极 小 时 可 能 出 现 数值 困难 . 

如 果 利 用 Ly 精确 罚 西数 或 工 。 精确 罚 函 数 ， 则 算法 10.2.3 一 
般 经 过 有 限 次 迭代 后 得 到 原 问题 的 精确 解 . 事实 上 , 设 x* 是 原 约束 
规划 问题 之 解 ，*" 是 相应 的 Lagrange REF. WAR o > A" lo 
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z* 就 是 Li RTI BRM TR. 美中不足 的 是 ， 求 5 精确 
启 尔 数 的 极 小 是 一 个 非 光滑 优化 汝 萝 ” 关 于 非 光 滑 精确 留 沙 数 将 
在 第 10.6 节 中 详细 讨论 . 


8103 AA me 


A PT R ie E Fe A A A Fi a Bo AR Sh R ed 
min f(z), , (10.3.1) 
s.t. cir} 0, i= lp, m - (10.3.2) 


HK ATCA AT ma. CPE APART ITR 
部 . 
内 点 罚 阔 数 一 般 可 表示 成 如 下 形式 


Ps) = f(x) + oD ,hele)), (10.3.3) 
i=l 


其 中 oa >0 RMAF, Alc) EEE (0,+00) EIERS. € 
满足 


lim A(e) = +00, (10.3.4) 
h{c1) > h{ca), Yer < ea. (10.3.5) 

有 的 内 点 罚 函 数 还 满足 
Alc) > 0， Ve> 0. (10.3.6) 


我 们 在 10.1 节 中 给 出 的 倒数 罚 函 数 (10.1.14) FIR MTT BM (10.1.15) 
显然 是 (10.3.3) 的 特殊 情形 . H TARER, (10.3.6) 式 也 成 立 . 
我 们 记 a(o) 是 问题 


min P(r) . (10.3.7) 
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的 解 . 假定 我 们 求解 (10.3.7) 之 前 就 给 出 一 严格 内 点 作为 初始 点 . 
由 于 P(x) 在 可 行 域 的 边界 上 无 穷 ， 所 以 el) 必然 是 一 个 内 点 ， 
与 引 理 10.2.1 和 引 理 10.2.2 类 似 ， 我 们 可 证 下 面 结果 : 

引 理 10.3.1 Hos >o > 0, 则 必 有 


f(z(02)) < f{z(o1)), (10.3.8) 
》 Alci(2(e2))) = Y hles(#(o1})). (10.3.9) 
#=1 i=1 


3 10.3.2 $ 5 = Y Alci(o(o))), Wolo) 也 是 问题 
i=l 


min fiz), (10.3.10) 
s.t. ICO) gé (10.3.11) 
i=l 
的 解 . 

46 充分 大 时 ， 问 题 (10.3.10) 一 {10.3.11}) 可 看 成 是 下 面 问题 
min f(x), (10.3.12) 

st. aa) < +00 (10.3.13) 

i=l 


的 一 种 近似 ， 而 由 (ce) 的 定义 ， (10.3.13) 等 价 于 
e(z)>0, i=1,2,---,m. (10.3.14) 


(10.3.14) 与 (10.3.2) 之 差别 只 是 可 行 域 的 边界 是 否 为 可 行 点 . 如 果 
o> 0 非常 大 且 强 理 10.3.2 中 所 定义 的 5 也 非常 大 时 ， 2(c) 十 分 
MPT (10.3.2) 的 可 行 域 的 边界 ， 于 是 (10.3.11) 的 可 行 域 也 靠近 原 
问题 的 可 行 域 ， 从 而 我 们 有 理由 认为 e) 也 靠近 原 问题 之 解 ， 如 
果 o > 0 非常 大 但 有 界 时 ， 由 内 点 罚 函 数 (10.3.3) 的 定义 知 在 
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z(o) DATS fle) OR. TERTE co) 近似 地 看 
Riga 的 局 部 极 小 点 . ETRE Rie hA AA Te 
:的 算法 如 下 .在 下 面 算法 中 ， 我 们 假定 AC) 满足 (10.3.6). 

算法 10.3.3 

步 1 给 出 r WE (10.3.14), a, > 日 上 六 由 大 :=1. 

步 2 利用 初始 信 zz 求解 (10.3.7) 得 到 z(o), $ Ik 一 


olok). 
步 3 ”如 果 . 
ap 》 hle,(te41)) Se, (10.3.18) 
i=1 
W: 否则 ， 
gk+1 = 100g; k:= kh +1; HH 2. oO 


关于 算法 10.3.3, RATA WM F Ba TE eB. 
定理 10.34 BAR f(x) 在 可 行 域 X 上 有 下 界 ， 则 算法 
10.3.3 时 在 = > 0 BARBIE, BRA RAM, 


jm y 4 J E Malee) = (10.3.16) 
lim f(z.) = inf f(x) (10.3.17) 
koo zeinti x} 


成 立 ， 其 中 int (X) = {z|ci(z) > 0, i= 1,---,m}; B {zx} 的 任何 
Fe SBE (A (10.3.1) 一 (10.3.2) 的 解 . 

证 明 显然 ,我 们 已 党 证 明 在 算法 不 有 限 终止 时 有 (10.3.16) 一 
(10.3.17) 成 立 . 

对 尾 和 何 9 > 0, 存在 r, € int (X) 使 得 


Flan) < inf f(x) + 4/2, (10.3.18) 
eemt(x) 


由 于 算法 不 有 限 终止 ， 有 o> +00, 页 存 在 下 使 得 


o> = 5 A(cj(ty)), VERE. (10.3.19) 


"21 
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FR. Hoey 的 定义 ， 不 等 式 


a >» hoi(ang1)) < flay) + on 2, h(cilzn)) — Jlr) 


i=i 


1 1 
< inf f(ajisnt+ gt Flera) <9 
zeint (X) 2 (10.3.20) 


Wl k > k abs. HF n > 0 的 任意 性 , 从 (10.3.20) 知 (10.3.16) 


AK. 
从 不 等 式 (10.3.20) 的 第 一 行 还 知 ， 


J(zkrl) S fzn) + og! 2, Aci(za)) 


i=l 


< inf flz)+” (10.3.21) 
xzElnt. (XY 
对 一 切 尺 之 都 成 立 、 所 以 (10.3.17) ARE. 口 
假定 算法 10.3.3 产生 的 点 列 {zx} KAF z. 如 果 x* 是 一 严 
格 内 点 ， 则 从 


m 


Vf (tags) + 去 (ci(cttD)vataer=0 (103.22) 
a 1 
VF (regal = ofz) (20.3.23) 


在 二 阶 充分 条 件 ( 即 Y27(z*) 正定 ) 满足 时 ， (10.3.23) 等 价 于 
ler ~ 2 =O (=). (10.3.24) 
SA (10.3.22) 还 可 看 出 zs+i rt KAF 0 的 速度 一 般 不 可 能 快 
于 1/ek， 
现 考虑 zx 一 2 H x* Æ (10.3.2) 的 可 行 城 之 边 界 点 ， 即 存在 
i 使 得 ci(2*) = 0. 设 Valeh € Tat) 线性 无 关 ， 记 AY 是 在 r 


> ATO - 


的 Lagrange WEY. rh (10.3.22) 即 知 


jim -h {eiler fon = AZ. (10.3.25) 


Acar = (—A'fer (engi), 065 R (Cm ltk) foe. FER AY 是 
列 向 量 Vale) (i e I(2*)) 组 成 的 矩阵 ， AY 是 向 量 入 中 对 应 
ie F(a") 的 分 量 所 组 成 的 向 量 ， +1 和 êle) 的 定义 同 A" 由 
{10.3.25) 知 


Ex ai| = o(=). vig Ha"). (10.3.26) 


因为 A* 线性 无 关 ， 从 上 式 我 们 有 


Wer SY = Oller e+) (108.27) 
由 (10.3.22) 知 
« * wri ay _ i 
W" (ana — 2°) — A* (hee — HM) = offesa — a) + o(=). | 
(10.3.28) 
而 
—A (k41 — £") 一 一 全 zk 十 上 zsti — 27 4)). (10.3.29) 


利用 (10.3.28)—(10.3.29) 即 得 
We -A*| [aay - 2" 
-4 了 0 Anyi — A’ 
1 


0 网 
j Lee Oars 


EEA > 0 (i & I{z*)), DURE RTH oe Re THE TT pa. ALAR 
(10.3.25) 可 分 别 得 到 ， 


c:(e41) = (=z): i € Max") (10.3.31) 
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和 


cifzkHl) = o(—). ie I(x"). (10.3.32) 
于 基 ， 假定 二 阶 充分 条 件 满 足 ， 从 (10.3. 31}—(20. 3.32) 可 知 对 于 倒 
eT oa RA AT RA DA 
Heya 一 zl = (=) (10.3.33) 
j las —2*|| = o(—). "  (10.3.34) 
Tk 


从 (10.3.33) 和 (10.3.34) WEH. EMAR T. HATAR 
7% He Bl ATAA AS ER. 
我 们 现在 考虑 只 需 非 精确 求解 (10.3.7) 的 罚 函 数 法 , 假设 f(a) 
和 A(e(z)) 都 是 zz 的 点 函数 ， 则 Poe) 也 是 关于 z nE. $ 
定 初始 值 er, 则 对 问题 
min P,, (x) (10.3.35} 


的 牛顿 步 为 
dy = [V Pp, (cx)? VP, (xe). (10.3.36) 


为 了 避免 精确 地 求解 子 问题 (10.3.35), 我 们 可 将 内 + dp BE 
(10.3.35) 的 一 个 近似 解 . 为 了 分 析 简 单 起 见 , 下 面 我 们 假设 Ale) = 
—Ige. > Troi = tk + dx, 从 (10.3.36) 有 


V? Po, (EAEk 一 zh] = —VP,, (a). (10.3.37) 
H (Arh = Woelex):, WW (10.3.37) 可 写成 
V’ Po, (ee) ati ~ 24) = —|V Fer) Do Vei(æx)]. (10.3.38) 
如 果 由 上 式 定义 的 Tip 是 在 可 行 域内 部 ， 则 它 可 以 作为 下 次 选民 
的 初始 点 ， 不 然 ， 存 在 ie > 0 使 得 点 


在 可 行 域 边界 上 ， 在 这 种 情形 下 ， 我 们 可 令 


Tei = TE 十 D.9Eke {10.3.40) 


这 样 er 仍 是 可 行 域 之 内 点 ， 于 是 ， 我 们 可 给 出 一 个 不 必 精 确 求 
解 子 问题 的 内 点 罚 函 数 法 . 

BE 10.3.5 

步 1 给 出 zl 满足 (10.3.14), oi > O,e BO, k i= 1. 

步 2 计算 (Asji = U/(oned(e,)) (6 = 1,--+,m); 


TH 


dy = — |V? Flex) — JOA): V cler) 
m Vern) Vet (2437) 71 
+ DA.) | 


x (VF(ex) (x,) rx): Veil (zn); 
a=1 


如 果 de 关 0 出 转 步 3; 
如 果 WV F(z] < © WF; 
FN, ok := WO0o,; 转 步 2， 
步 3 Ok = 1;- 
如 果 . ctd 是 内 点 则 转 步 4; 
R1> & > 0 使 得 2, + Gad, 在 可 行 域 边 界 上 ; 
Qk := 0.9a,; 
步 4 tear t= Ep + apdr; MH 


(10.3.41) 


“5 og (1 
Tk 2,1g (en) SE, (10.3.42) 
则 停 ; 
Fry = Odg; :二 上 十 1; 转 步 2 口 
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810.4 RF TM RH 


本 节 我 们 讨论 利用 增 广 Lagrange 函数 (10.1.16) HT RRA 
法 . 我 们 把 增 广 Lagrange 函数 记 为 P(e, à,a), 即 


P(z,,0) =f(2) + > |- acest) + 501e2(2)] 
i=] 


m | 一 Agey(a) + Soic?(e)], WMA alx) x, 
+5 ' 
i= ti ESTIAN 香 则 . 
. 2 (10.4.1) 
AG S= l oom) ERT, oili = 1,.…m) 是 匆 因 子 且 满 足 A 20 
(i> me) Mo:>O0 =1,---,m). 
设 在 第 次 迭代 ， BART AY, DRE of” 令 eas 
是 子 问题 
min P(2, A) (10.4.2) 
的 解 ， 于 是 ， 我 们 有 


VF (wea) = SAW — oP ailern) Valar) 
i=l. 


+ JO max{Al” — of ciar), 0} Vc (£e), 
i=m.+1 (10.4.3) 


因此 ， 我 们 到 
acer) _ at) _ oP eler), i=l, Mel (10.4.4) 


yer) = max (a 一 of ea(zker,0， i= me +1,---,m. 


HEAD FRO Lagrange FEF, M (10.4.3)—(10.4.5) 即 知 


Vs) ~ > MY Velers) = 0. (10.4.6) 


i=1 
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上 式 说 明 对 任何 大 > 2, (zr, AP) 的 K-T 条 件 之 误差 为 
[VaL (wa, MO + {fe (ea dH = fle (eal (10.4.7) 


其 中 Liz, +) 是 Lagrange BM (8.2.26), c (zc) BORER RRR 
(10.1.2)—-(10.1.3). 所 以 ， 当 下 之 2 时 ， 只 要 


lær) < Feen) (10.4.8) 
不 满足 ， 我 们 就 扩大 相应 的 罚 因子 ， 即 令 
oth) 10 et. (10.4.9) 


下 面 给 出 的 是 基于 增 广 Lagrange 薄 数 的 罚 函 数 方法 . 
算法 10.4.1 
步 1 给 出 初始 值 rr eR VAM eR” BAM >DUGED; 
6% >0(=1,-,m) 620, k=l. 
步 2 RAR (10.4.2) 给 出 erpi; 
如 果 lle (ees) lloo < E 则 停 . 
#3 MT i= t,---,m, +> 


wos fF 如 果 (10.4.8) 成 立 ; 
max[10 o{*), k3], 和 否则. 


步 4 由 (10.4.4) 一 (10.4.5) 计算 AG+D, 
:= k +1; 转 步 2. 口 
算法 10.4.1 的 有 限 终 止 性 不 难 建立 ， 
定理 10.4.2 ” 设 问 题 (8.1.1) 一 (8.1.3) 的 可 行 域 X AES. 如 
对 任何 = > 0, 算法 10.4.1 必 有 限 终止 或 者 产生 的 点 列 zx 满足 


im inf f(zx) = “oo. (10.4.11) 


(10.4.10) 


RA ” 设 定理 不 成 立 ， 则 对 某 一 = > 0 算法 10.4.1 HARA 
ERB {f(zk)} FERR- ERR J: 


J= (i| tim le (en)|=0 1<is m}. (10.4.12) 
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由 于 算法 不 有 限 终止 ， 集 合 
J = {1,2,.., mJ (10.4.13) 


非 空 。 由 算法 的 构造 可 知 ， 对 任何 ie 了 都 有 


jim as”) = +00. (10.4.14) 
eM 
ui) = ay la, (10.4.15) 
则 不 难 证 明 : 


` k+1 k 
letti < Soph fof 
. i=l 


< I 十 2[P(zk-1， xe), at) = F(en41)] 
— 2[P(z, Ma) — f(z)] | 
< [le 12 + 20 F(Z) - Flert), (10.4.16) 


其 中 z fel (8.1.1)—(8.13) 的 尾 一 可 行 点 . 由 于 {f 有 下 
FH, M (10.4.16) 可 知 ， 存 在 正常 数 5>0 使 得 


[下 (10.4.17) 
Wk 都 成 立 ， 令 集合 


-Lil tim CM Bex 
J = {i lim of = too}. (10.4.18) 


由 (10.4.14) 可 证 SCS. 利用 ca 的 定义 ， 我们 有 
1 ya paa 

/四 + E Plea- 5) - (sm) | 

i>m, $ d 


f, 
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) (k) 
> flEr41) + D sot | (cs(mass) — tn) B Ss) 


igm, 


MD、 pla 


+ 之 La Te (tx+41) 一 vw) - (Fo) | 


其 中 主 是 (8.1.1)—(8.1.3) 的 任 一 可 行 点 ， 以 及 a 表示 min{0, a}. 
利用 (10.4.17)—(10.4.19), 我 们 可 得 到 


(10.4,19) 


F(Z) — f(te+1) 2 Of) 
KON 


k} 
+ zi GAETE 一 -45 ) 一 (35) | 
a 2 oh of 
ief 


A RON 


+ 5 p (eeud 25) ~ Ca) ] 


(10.4.20) 


2 


由 于 算法 不 有 限 终止 ， 对 任何 ,存在 > 上 使 得 某 个 ie 了 有 
ce >al H Jei(aip)] > e (WE i< me) RE (eleg) > 
e (WE i> me). 于 是 从 (10.4.20) 式 可 推出 
F(Z) -Le 2 OK) + LoP: 2 十 o(a) 
1- 


okta lize > rue 
(10.4.21) 


4 {e} FRAPPR. 蔬 盾 说 明定 理 为 真 . o 
定理 10.4.3 MM (8.1.1)—(8.1.3) 的 可 行 域 X 非 空 ， 则 

算法 10.4.1 在 ==0 时 产生 的 点 列 {r1} 之 任何 聚 点 z* 都 是 可 行 

A WR {A0} 有 界 则 x* 必 是 原 问题 (8.1.1 一 (8.1.3) 的 解 . 
证 明 ”从 定理 10.4.2 即 知 


dm fo (xz, jf = 0. {10.4.22) 
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所 以 {an} WHE RADE (8.1.1) 一 (8.1.3) 的 可 行 点 ， 假 定 
{A} 对 一 切 上 有 界 ， 从 (10.4.19) 式 和 (10.4.22) 式 可 知 


ID flame) + D so hlen) 


i<m, 


EE pP een- Z) (— Be)" ] +009 
> flees) + o(1). , (10.4.23) 
HT ZEX 的 任意 性 ， 我 们 有 
jim, F(a) = inf F(x). (10.4.24) 
所 以 {er} 的 任何 聚 点 必 是 原 癌 题 之 解 . o 


我 们 现在 考虑 算法 10.4.1 RE. STRENNA, Thi 
设 仅 存 等 式 约 东 . 我 们 假定 


rR 2". (10.4.25) 


由 定理 10.4.3 知 m* 是 问题 {8.1.1) 一 (8.1.3} 的 解 ， 我 们 还 假定 
A(z*) = Vea) BME. 由 于 我 们 考查 算法 的 局 部 收 生性 ， 
可 假定 4(z4) = Vefe)” HH k 都 是 列 满 秩 的 .因为 Alek) 
的 列 洲 秩 性 ， 算 法 10.41 产生 的 ARTO 和 由 下 式 


A(tepi)A(Ze41) = g(£k+1) (10.4.26) 
所 定义 的 X(zk+i] 是 完全 等 价 的 ， 其 中 gla) = Vi (oc). 考 起 函数 
Ma) 一 [Ale] g(x). (10.4.27) 


不 难 求 得 
[YA(z 六 = [Af] "W (z), (10.4.28) 
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其 中 


m 


W(x) = V? f(x} 一 P Do Vele). (10.4.29) 
由 算法 可 知 
AM#e41) + Dye(te41) = Alap), {10.4.30) 
其 中 xe 0 
D, = me . (10.4.31) 
0 oi 


FÆ, A (10.4.30) 可 得 
[De Ala")? + Al) W (rer — 2") 


x A(x*)* W(x*)(2, — 2°). 
(10.4.32) 
从 上 式 可 知 ， 除 非 o® 一 +oo, 算法 10.41 产生 的 点 列 一 般 是 线 
PEW oe HY. 
WJ“ Lagrange RH (10.4.1) 的 一 个 美中不足 之 钼 是 它 仅 是 一 
次 连续 可 微 的 ， 所 以 在 求解 (10.4.2) 时 有 可 能 有 数值 困难 . 


810.5 Jar Fa wi Tl es Bk 


对 于 等 式 约束 优化 问题 
min f(e), (10.5.1) 
s.t. efz) 一 日， (10.5.2) 


Fletcher (1973) 4 H% — -t 36W WRT BR. 
P(2,0) = f(z) — Mo)Te(s) + elz)” Defe), (10.5.3) 


- 479 - 


其 中 Af) 由 (10.1.18) Wa, D = diag (01,:-+,0m). ERR, The 
žr (10.5.3) 是 (10.1.20) 的 稍 不 同 之 表现 形式 .从 10.1 节 中 的 讨论 
可 知 ， 在 二 阶 充分 条 件 满 足以 及 o 充分 大 的 假定 下 ， (10.5.1) 一 
(10.5.2) ABR} ARAL Br a Be (20.5.3) 的 局 部 严格 极 小 点 . 反 过 来 ， 
如 果 z Æ (10.5.3) 的 极 小 点 且 cz) = 0, M) z th He le] (10.5.1) — 
(10.5.2) 的 极 小 点 . l 

在 (10.5.3) 中 令 所 有 的 o 相等 ， 则 得 到 简单 形式 的 Fletcher 
JN AE NA T 


Ptz,c) = f(z) ~ Mx)? ela) + Zolje). (10.5.4) 


令 clo) 是 无 约束 问题 
min P(z,c) (10.5.5) 


的 解 . 与 (10.2.4) 类 人 羽 ， 我 们 可 证 
lle((o2))l2 < lcsloi)2, Yoz > 01 > 0. (10.5.6) 


同样 地 , 我 们 可 与 算法 10.2.3 类 似 地 通过 逐步 求解 {10.5.5) 来 求解 
(10.5.1) (10.5.2). 与 简单 号 函数 法 相 比 ， 利 用 求解 (10.5.5) 不 需 
要 o > +o 就 可 得 到 原 问题 (10.5.1) 一 (10.5.2) 的 精确 解 . 另外， 
精确 神 函 数 (10.5.3) 是 光滑 的 . 这 样 ， 无 约束 优化 问题 (10.5.5) 的 
求解 方法 的 收敛 速度 可 以 达到 很 快 (如 拟 牛 顿 法 ). FT) Be (10.5.3) 
的 一 个 缺点 是 计算 V Pleo) 时 需要 计算 VAT. 由 110.4.28) 一 
(10.4.29) FURAN A V f(z) 和 Vřele) (i = 1…-,m), 所 
以 我 们 在 调用 利用 导数 的 无 约束 优化 方法 求解 (10.5.5) 时 必 澳 计 . 
算 V2f(z) 和 Valz) (i = 1,.…,m)， 从 而 不 仅 要 求 V? f(e) 和 
Vigi = 1,:…,m) 可 计算 且 使 算法 的 计算 量 非常 太 ， 正 因为 如 
此 , 通过 求解 (10.5.5) 来 得 到 原 问 题 (10.5.1) 一 (10,5.2) 之 解 在 实际 
计算 中 很 少见 到 . 

光滑 精确 罚 函 数 (10.5.3) 在 一 定 意义 下 等 价 地 描述 了 原 约束 
优化 问题 . 它 在 不 少 约束 优化 的 计算 方法 中 有 着 直接 应 用 . 一 个 很 
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重要 的 例子 是 ， 它 可 作为 一 “价值 ” 画 数 来 判别 算法 给 出 的 试探 点 
是 否 可 被 接受 . 
如 果 我 们 在 (10.5.3) 中 稍 作 变化 ， 将 D 用 一 对 称 阵 


2 At (ATT (10.5.7) 
代替 ， 其 中 4 = Vel) 于 是 (10.5.3) 变 成 
P(a) = f(z) — x(x)? ela), (10.5.8) 
其 中 
n(x) 一 .4108(z) — o(A*)? efx). (10.5.9) 
不 难 发 现 rir) 是 问题 
min 5od7d + g{x)7d (10.5.10) 
s.t. AT (x)d + elz} = 0 . (10.5.11) 


的 Lagrange WF. 
于 是 对 于 有 不 等 式 约 束 的 问题 (8.1. a (8-1.3)， 我 们 可 定义 
n(x) 为 子 问题 


min so(zjrd+ ol (10.5.12) 
st， o(2) +4? Val) = 0, ieE, 
oe (10.5.13) 
cife) +d? Vele) 20, ied (10.5.14) 
的 Lagrange EF, WERE TT RK 
P(z) = f(x) — n(x) (a). (10.5.15) 


FEF rfz) 也 可 通过 解 (10.5.12) 一 (10.5.14) MH Ra wes, 
.1 
„irg lee 


— IALGI +on efe). (10.5.16 
i=1 
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Di Pillo 和 Grippo (1979) 还 所 出 如 下 光 清 精确 罚 函 数 


P(e, d) = fle) - etej7A+ 30lle(z)lB 


+ oM (alala) - A(z). 

(10.5.17) 
+ TBE A 也 当成 一 R 空间 的 独立 变量 .Mt(z) E-E 
PE. PALIN AY A(z)”, 4(z)+ 或 者 是 单位 矩阵 ， 罚 画 数 (10.5.17) 
和 (10.5.3) AD, RARMPSRAM AM. (10.5.17) 可 以 推广 到 
带 不 等 式 约束 问题 , 但 得 到 的 神 函 数 形式 十 分 复杂 . RENEE 
可 参阅 Di Pillo, Grippo 和 Lampariel] (1981) 或 者 Fletcher (1983). 


§10.6 FI HE Wh TT K A 


设 h(c) 是 一 定义 在 及 ”上 的 凸 函 数 ， h(0) = 0, 且 存 在 正常 
数 5> 0 使 得 
| hc) > olelh (10.6.1) 
M— ce R™ 都 成 立 ， 则 称 h(c) RRR BR: Hea 
BER He A(c), RIT BR 
| P, nle) = f(a) + ch(el-e)) (10.6.2) 
AAAA RH o> 0 MAF, CUr) BHR 
BERN, hH (10.1.2) 一 {10.1.3) RX. HTI AATA 
(10.6.2) RITE in F OEE. 


定理 10.6.1 wo” 是 约束 优化 问题 (8.1.1)_(8.1.3) 的 局 部 
极 小 点 ， 和 " 是 相应 的 Lagrange 乘 子 ， 如 果 二 阶 充 分 条 件 


d7V2,L(e",A")d>0, VO4#d € LFD (x*,X) (10.6.3) 


满足 ， 则 当 
06 > ("loo (10.6.4) 
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时 zr FET pe (10.6.2) 的 局 部 严格 极 小 点 . 
SERA i (10.6.4) RR. 如 果 定 理 非 真 ， 则 必 存 在 rak = 
1,2,---) x, AT", zk 92° HA 


Pa alae) < P(x"), Vk. (10.6.5) 
从 上 式 可 得 到 . 
f (xx) + 人 et rn) < F(2*). (10.6.6) 
不 失 一 般 性 ， 可 假定 
{ak — E") |z — 2"| > d. (10.6.7) 
由 (10.6.6) 和 Lagrange 乘 子 的 定义 可 得 到 
(25 一 | Xoo) le zal 


= (g(x*) — A(z IX)T (Er ~ 2*) + (08 ~ |A" loo) (2x): 


- Slee — a) V3 D(A (er — 2°) 
+ (26 — [A*i HEr) + ollie — 2° lP) 


= (za) 十 ellletifza)l — f(z") 


-Y (Aoler (za)| + Mei(zx)) 


i=l 


1 a + 
- 3d Vi gla", A Jder — 2*|I3 + oller — 27113) 


1 * 34 * 中 
< -FdT VI L(a", de — "I + olllen — 2°18). 
(10.6.8) 


利用 上 式 可 得 


(-) 
tim teli _ 9, (10.6.9) 
oe. fere] 


即 知 
d e LED {2°, X), (10.6.10) 


从 二 阶 充分 性 条 件 可 看 出 
dw E(x*,\*)d > 0, (10.6.11) 


这 说 明 不 等 式 (10.6.8) 的 最 后 一 行 在 大 充分 大 时 是 负 的 ， 这 就 导 
ATR. REBAR. a 
H BSE SCR A aT) eR ce La A Ti 


P (a) = f(x) + offer) | (10.6.12) 
和 Loo HEPAT 
Pt(z) = f(x) + olle a} c0- (10.6.13) 
HTE RATIK A (10.6.2), 我 们 记 clo) 是 问题 


min Ps alz) (10.6.14) 


BRDA 3 10.2.1,10.2.2 类 似 ， 可 证 明 以 下 引 理 . 
引 理 10.6.2 Bo. > cl >0, WHA 


f(a(e2)) 2 Jio), (10.6.15) 


Ale (ela2)))' < hie! (x(o1))). 
(10.6.16) 


引 理 10.6.3 $ n= A(c(2(o))), M ofc) 也 是 约束 问题 


min f(2), (10.6.17) 
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st A(e(a)) <9 (10.6.18) 


的 解 . 

精确 罚 隙 数 的 好 处 之 一 是 可 通过 求解 有 限 个 无 约束 问题 来 精 
确 求解 一 铭 束 优化 问题 . SES Td Be (10.6.2) 的 罚 熙 数 
法 可 写成 如 下 形式 : 

算法 10.6.4 

步 1 Bae, CR gi > 0 大 一 1 

步 2 利用 初 值 ze 求解 


min Po, nlx), (10.6.19) 


得 到 解 z(o). 

步 3 MẸ elor = 0 WE, 

Eee. = £(7%); Fei = 10 oR; 
k:=k+1; 转 步 2. 口 

该 算法 显然 与 利用 简单 鹿 函 数 的 算法 10.2.3 类 似 . AA, 
由 于 nir) BAR. Ao 足够 大 就 可 得 到 精确 解 . 下 面 
是 算法 10.6.4 的 收 合 性 结果 . 

定理 10.6.5 eM f(z), a(x) (i 二 1,---.m) 二 次 连续 可 
微 ,约束 优化 间 题 (8.1.1) 一 (3.1.3) 的 可 行 域 非 空 , 如 果 在 (8.1.1) 一 
(8.1.3) 所 有 的 局 部 极 小 点 上 二 阶 充 分 条 件 (10.6.3) 满足 ， 则 算法 
10.6.4 必 经 有 限 次 选 代 后 终止 于 问题 {8.1.1) 一 (8.1.3) 的 局 部 严格 
概 小 点 或 者 产生 的 点 列 满 足 lizal 一 o. 

证 明 如 果 算 法 有 限 终 下 于 slor) W zfex) DRT BR 
Posala) 的 局 部 极 小 点 ， 由 下 面 要 证 的 引 理 10.6.6 可 得 (on) 也 必 
是 原 问 题 (8.1.1) 一 (8.1.3) 的 局 部 极 小 点 ， 根 据 假 设 二 阶 充分 条 件 
在 xz{ox) 处 满足 因此 elor) 必 是 一 启 部 严格 极 小 点 . 

如 果 定 理 非 喜 ， 册 对 任何 k, (z) # 0, {lel} 有 有 界 子 
列 ， 且 有 ax > oo. HF E (8.1.1)—-(8.1.3) 的 任 一 局 部 极 小 点 ， 由 
alor) 的 定义 ， 


Far tarhli (eer) < Etoh? (E) = F(z). (10.6.20) 
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利用 上 式 和 (10.6.15) By 
arh} (Ekg) < F(T) — fle), 


ed 
dm h(c (zr1}} = 0. (10.6.21) 


AA (10.6.21}) 和 (10.6.1) 可 推出 
jim, le (ra) = 0. (10.6.22) 
因为 {ie} BARA, WT BE SE {on} 的 一 聚 点 ,从 (10.6.22) 


即 知 
ct 一 (他 ) = 0, (10.6.23) 


设 zi 一 全 如 果 守 不 是 (8.1.1) 一 (8.1.3) 的 局 部 极 小 点 ， 则 必 存 在 
& FSH 2 AA 


f(B) < f(£), (10.6.24) 

eB) = 0. (10.6.25) 
从 (10.6.24) 和 zk 22 AM, 45 充分 大 时 有 

Fls) > FÈ), (10.6.26) 


因而 可 推出 1 
后 ) > Poy, (2) (10.6.27) 


这 与 zk, ERAT, 故 知 å Æ (8.1.1) 一 (8.1.3) HRD A. 
由 定理 10.6.1 WARE S > o Ma > 0 使 得 


Pani) > Psn(2), Yle- èil <6, z2. (10.6.28) 
KM ERR A 
Pen(t) > Perla), Ve ##, lle-@l|<é,a>6. (10.6.29) 
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由 于 Th; 一 00, Phy > È A wk EÊ, 则 必 存 在 了 使 得 lex; — Bj < 6, 
Te,-1 > F. 于 是 


Po, anlan) > Pop, n(8)- (10.6.30) 


这 与 z MEMS. FRA ERAN. 日 

如 果 算 法 10.6.4 ARIE, Woe ib PR BZ AMR) A. 
这 是 基于 下 面 的 引 理 . 

引 理 10.6.6 ”对 任何 o>0 和 Fz€WR", MF Alez) =0 
H 5 是非 光滑 精确 界 函 数 Poal) 的 局 部 极 小 点 ， 则 hes 
东 优 化 问题 (8.1.0 一 (8.1.3) 的 局 部 极 小 点 . 

证 有 明 BR Ale NZ) = 0 HE Pr alc) 的 局 部 极 小 点 
WERS ETEY, WFE velk 二 1,2,…) 使 得 zk 32,2, 42 H 


f(z) < F(E), (10.6.31) 
(az) = 0. (10.6.32} 
于 是 ， 我 们 有 
Pohl) < P (8), (10.6.33) 
B22 Peal) 的 局 部 极 小 点 碍 矛盾 .所 以 引 理 为 真 . z 


在 个 别 情况 下 ， 算 法 10.6.5 可 能 出 现 rell > co. 例如 ， 对 于 
问题 


min i00e™?— I (10.6.34) 
s.t. ge T =Ù, (10.6.35) 
FX A(c) = jej, Ma mK P(x) 为 
P,(2) = 100e7* 一 = T+ else 小 (10.6.36) 
对 充分 大 的 > 0 Pola) 的 最 小 点 x(o) 满足 方程 
2 + 
—100 + Gif 一 efz 1), (10.6.37) 
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且 zfe) > 1 所 以 


li zen") 1 10.6.38) 
Im gep yip (06. 
am 
lim a{a) = +00. (10.6.39) 


所 以 当 算 法 10.6.5 用 来 求解 【10.6.34) 一 [10.6.35) HHE Æ mx 一 
+00, 

当 约 东 函 数 的 梯度 线性 相关 时 ， 原 问题 (8.1.1) 一 (8.1.3) 的 极 
小 点 可 能 不 是 精确 罚 函数 (10.6.2) 的 稳定 点 ， 例 如 ， 对 于 问题 


min 2, (10.6.40) 
x€R} 
s.t. e(z} = r? =0, {10.6.41} 


R h(e) = c, WDNR EK o > 0，(10.6.40} 一 (10.6.41) 的 解 
a*=0 REAR we 


Pa,(2)= 2+ 02? (10.6.42) 
的 稳定 点 . 
如 果 约 束 函 数 的 梯度 线性 无 关 ， 则 可 证 原 问 题 (8.1.1} 一 (8.1.3) 
的 极 小 点 也 是 精确 罚 函数 的 极 小 点 . 


定理 10.6.7 r 是 约束 优化 问题 (8.1.1} 一 (8.1.3) 的 局 部 
Rh, A* 是 相应 的 Lagrange RT. WH 


Verte") GE EUI(2")) (10.6.43) 


线性 无 关 ， 则 当 (10.6.4) 成 立时 et 必 是 罚 函 数 (10.6.2) 的 局 部 极 
小 点 ， i 
证 明 ”如 果 定 理 非 真 ， 则 存在 zx(k = 1,2,---) HB x Er, 
r,—>2* HA 
Poa(te) < Pla), Wk. (10.6.44) 


于 是 
fax) + oble (z) < Fe (10.6.45) 


与 定理 10.6.1 的 证 明 一 样 ， 我 们 可 恨 定 (10.6.7) 成 立 . 市 且 ， 利用 
(10.6.8) 即 知 
d € LFD (z*, X). (10.6.46) 


由 二 阶 必 要 条 件 即 知 

dTV, 2 A Jd > 0. (10.6.47) 
从 上 式 和 (10.6.8) 可 推出 

d? V2 L(x", Ad =0. (10.6.48) 


故 知 
eT (el = oller — 2"). (10.6.49) 


由 于 z* ESR RAL RR {8.1.1)- 一 (8.1.3) 的 极 小 点 ， 从 (10.6.45) 可 
知 对 一 切 充分 大 的 多 都 有 


ewe) Ifa > 0. (10.6.50) 
由 于 所 有 积极 约 东 的 梯度 是 一 组 线性 无 关 向 量 ， 必 存在 -内 使 得 
ec) (yg) = 0, _ (10.6.51) 


iE 
lys — zell = Otte) (10.6.52) 
由 于 z* 的 最 优 性 和 (10.6.51), RATA 


Fue) > f(e"). (10.6.53) 
AA, A K-T 条 件 ， (10.6.4) 和 (10.6.45) 可 得 到 


Ff (ye) = Fer) + VAE (ye — r) + Of lve — eel} 
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= fler) + SOA k- en)? Vela") + of liye ~ el) 


< Fler) + MA Hoole eli + ote (zl 


< flax} + o6lle (er) < f(z"). (10.6.54) 


这 与 (10.6.53) FA. FSR ECRAR. 口 

不 难看 出 , 非 光 滑 精 确 罚 请 数 (10.6.2) 和 约束 优化 问题 等 价 关 
系 建立 在 条 件 (10.6.4) 上 .事实 上 ， 如 果 不 等 式 (10.6.4) 不 满足 ， 
则 (8.1.1) 一 (8.1.3) 的 局 部 极 小 点 不 一 定 是 入 序数 (10.6.2) 的 稳定 
点 . 

定理 10.6.8 Bot 是 约 东 优化 (8.1-1) 一 (8.1.3) 的 局 部 要 小 
AH Yo) #9, 记 


T= yk lell, (10.6.55) 
则 当 
olve (aI < FFT (10.6.56) 


时 ， zw* PETEA (10.6.2) 的 稳定 点 . 
证 明 不 难看 出 ， 在 r” 处 函数 (10.6.2) 的 次 梯度 为 


OP, nla") = VF la") + oo. Ve (x) aR). (10.6.57) 
利用 (10.6.56)—(10.6.57) 期 知 
0 ¢ OP, ,(2*). (10.6.58) 


从 而 2* 不 是 Ponle) 的 稳定 点 [证 毕 ] 


- 490 - 


第 十 一 章 可 行 方向 法 


§11.1 WT 点 法 


可 行 点 法 即 是 要 求 每 次 迁 代 产 生 的 点 zk 都 是 约束 优化 问题 的 
可行 点 ， 对 于 一 般 约 介 优化 问题 (8.1.1) 一 (8.1.3), 给 定 一 初始 变量 
zx EX, 如 果 我 们 能 找到 一 个 下 降 方 向 4 而且 4 也 是 在 x, 处 的 可 
aww, M 


dN f(x.) < 0, (14.1.1) 
de FD (£k, X). (11.1.2) 


则 一 定 可 找到 一 具有 zk tad 形式 的 新 的 可 行 点 且 fle, + ad) < 
fixe) 这 里 FD (z, X) 由 定义 8.2.1 给 出 . 我 们 称 满 足 (11.1.1) 一 - 
(11.1.2) 的 d 为 在 zk 处 的 可 行 下 降 方向 . 

Hie, € (0,1) 是 预先 给 定 的 正常 数 ， zk 是 可 行 域 区 中 的 本 
一 点 ， 忆 是 满足 (11.1.1) 一 (11.1.2) WAR, WE a > 0 使 得 


F (we + ad) < firr) + acid’ Virk) (11.1.3) 
WEE zk 十 2ad 可 行 时 有 
Fiza + 2od) > flrr) + Bacd Vi (xx), (11.1.4) 


则 称 a 是 在 zs 处 沿 d 方向 上 的 可 行 点 Armijo 步 长 ， 
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引 理 11.4,1 ae, eX. d 满足 {11.1.1) 一 (11.1.2}. a 是 在 
ay, 处 说 志方 向 上 的 一 可 行 点 Armijo 步 长 ， 则 在 ze 十 2ade X 时 
有 


cl -— e) pd? V f(z)? ， 
flax tad) < fa) S(T] mas) 
其 中 M= mex |V? Fi +td)\2; É £e + Zad g X HA 
T(zh) r 
f(x, + ad) < firr) 十 zjadla € Vi (ze), (11.1.6) 
Ep (5) Ez 到 不 可 行 点 组 成 之 集合 的 距离 ， Bp 
T(z) = inf lz — yll. (11.1.7) 


HERA #2, + 2ad © X, HH (11.1.4) 和 Taylor 公式 可 知 
Qeed VF (24) < 2ad? VN ffer) + > (2ad)"V? f(xy + m2ad)(2ad) 
< 2ad? Vf (xp) + 2a? MHall2, (11.1.8) 


其 中 加 € (0,1). 从 上 式 可 得 


_ (1 一 c1) 
Milal? 


将 其 代入 (11.1.3) BI (11.1.5) 成 立 ， 
MR zx + 2ad E X, WM T(z) 的 定义 可 知 


a> dTV f(2x), (11.1.9) 


2allala > Fiz), (11.1.10) 


T(r) 
中 吕 。 
口 


mA a > . 利用 这 一 不 等 式 和 条 忻 (11.1.3) 可 知 (11.1.6) 成 
X. 

下 面 算法 是 一 个 计算 可 行 点 Armijo 步 的 简单 算法 ， 它 利用 逐 
步 将 试探 步 长 缩短 一 半 或 扩大 一 傍 来 寻找 一 可 接受 的 步 长 .. 
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算法 11.1.2 
步 1 te eX, de DF(x,X) Ad? Vf (2) <0; th 


令 Omax = $90, a= 1, 


f(z+ ad) > f(z) + aad" V f(z), 


或 者 + 十 ad X MR 3; 
如 果 Oma < too 则 停 ; 
a :二 2a; 转 步 2. 
步 3 Omax :一 ai @ :二 a /2; 转 步 2. 口 
不 难看 出 ， 除 非 对 一 切 ke + 2kd eX H fle + 24d) -yo0 
外 ， 算 法 11.1.2 都 会 有 和 女 终 止 且 找 到 的 a 是 一 可 行 点 Armiio 步 
E. 在 算法 11.1.2 中 也 可 利用 二 次 或 三 次 插值 来 选择 下 次 迭代 的 
试探 步 长 ， 这 样 可 提高 算法 的 收 和 敛 速 麻 ， 
对 于 任何 ce X fide FD (z, X), 我 们 称 满足 


a": min f(x +ad) (11.1.11) 
的 a* > 0 为 可 行 点 精确 搜索 步 长 . 
引 理 11.1,3” 设 ze€,d & FD (s, X), or HR (11.1.11), W 


有 T 

f(z) —fletatd) > i E may, (11.1.12) 
其 中 M = max |V" f(e + tdi; 或 者 

f(z) — f(a + œd) 2 — r(e) dO f(a). (11.1.13) 


2Hdil2 


其 中 D(a) 由 (11.1.7) REM. 
证 明 ”由 Taylor 展开 即 知 


flz+ad) < Fe) + ad? f(e) + lal -eta )、 (11.1.14) 
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令 oo = —d V f(z) Md HR r+ ode xX, WA 


f(z +a*d) < f(z + avd} & p(o) 


1 sd? Vf(z))? 
=H- al ae |] 


(11.1.15) 


如 果 x + aod € X, M ao > r(2)/lldil; 于 是 利用 pla ) 的 凸 性 ， 我 
们 有 


sup [f(z) - f(a + ad) 
O<a<P(#)/ lid] 2 


> sup [Fle) - pa) 


O<a<P(x) /lal 


f(z) — fle + a*d) 


Ww 


= f(z) — yT (z) ilda] 


reL _ 


ra 
2 


一 (11.1.16) 


从 上 两 式 即 知 引 理 成 立 . o 

有 了 这 些 在 可 行 域 上 沿 可 行 方向 进行 “可 行 ”线性 搜索 的 技 
巧 , 只 要 每 次 选 代 我 们 能 找到 一 可 行 下 降 方 向 , 就 可 以 逐步 迭代 来 
求解 约 东 优化 问题 . 但 是 ,并 不 是 在 任何 情况 下 都 可 以 找到 可 行 下 
降 方向 ， 例 如 ， 对 于 约束 条 件 


c{x,y) =y- 27 =0, (*) ER. (11.1.17) 


EETA FD((2,y),X) = 2. 因而 在 任 一 可 行 点 处 都 找 不 
到 可 行 下 降 方 向 - iE, 在 可 行 域 艺 是 凸 的 时 候 ， 只 村 z 和 天 
不 是 K-T AWE x 处 必 有 可 行 下 降 方 向 . 我们 将 它 写 成 引 理 形 
式 . i 
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引 理 11.1.4 Bre X, A BME. fod EX EB. 
则 在 x 存在 可 行 下 隆 方向 当 匡 仅 当 x 不 是 约束 优化 问题 (8.1.1) 一 - 
(8.1.3) AABN A. 

证 明 显然 ， 当 是 极 小 点 时 不 存在 可 行 下降 方 向 . 

现 假 设 x PERDA MFE tE 


F£) < f(a). (11.1.18) 
由 于 f(x) 是 凸 范 数 ， 从 (11.1.8) 可 知 
ad’ V f(z) <0, 


其 中 二 名 一 zx. AA X RMR, deFD (2, X). 故 知 台 是 一 可 行 
下 降 方 向 . 口 

下 面 给 出 的 是 一 个 利用 可 行 下 降 方 向 的 一 般 算 法 

算法 11.1.5 

步 1 给 出 初 值 ri 6X, k= 

H2 WRAP EMA (11.1.1) 一 (11.1.2) A d W; 

RIH de 满足 (11.1.1) 一 (11.1.2); 

步 3 进行 某 种 可 行 点 搜索 ， 得 到 ak > 0. 

步 4 Trgi = Tp tardi k= bh + 1; 转 步 2. 口 

在 上 面 算法 的 步 3 中 ， 我 们 可 用 可 行 点 精确 搜索 或 可 行 点 
Armijo 搜索 来 得 到 az. 

从 例子 (11.1.17) 可 知 ， 算 法 11.1.5 即使 终止 也 不 一 定 终 止 于 
BEA. 当 优 化 问题 是 一 凸 规划 问题 时 ， 从 引 理 11.1.4 可 结算 法 
11.1.5 如 果 在 第 次 迭代 终止 ， 则 oy 必 是 优化 问题 的 最 优 解 . 

另 一 个 重要 的 问题 是 满足 (11.1.1) 一 (11.1.2) 的 dy 的 选择 ， 考 
BRR: X=R". f(x) 是 定义 在 有" 上 的 一 致 凸 函数 . 
Rd, 是 每 次 选 代 的 搜索 方向 . 


dTV F(x) <0. LLL.19) 
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id Ar 为 dy 和 人 负 梯 度 方 向 一 Vf(zx) ZIMA, BA 
dj, Vf (zx) 
lex fall VF (are) 
SIH 11.16 对 于 无 约束 优化 河 题 ， 如 果 线 搜索 算法 有 
Tel = Tr takik, |V fiel] AO M—H k MBAR, 如 果 由 (11.1.20) 
ELH cosh, 满足 


cos f, = — (11.1.20) 


mo 
》 cos? Ok < +00. (11.1.21) 
k=ł 


则 在 f(z) 是 二 次 连续 可 徽 且 一 致 凸 的 假定 下 ， 必 定 有 
lim inf UV F(24)!| > 0. (11.1.22) 
证 明 ”由 于 fe), ROD x+ 使 得 
fle") = min f(2). (11.1.23) 
显然 ， (11.1.22) 等 价 于 
l Jim f(e) > feh (11.1.24) 


we X = {z| f(z) < ftz1)}. + 


= d? V7? f 11.1. 
min ia min, (rd (11.1.25) 
Mi = y? 11.1.2 
1 ze 让 aK pax, do fd (11.1.26) 


由 于 f(z) 是 一 致 凸 的 ， O< Tti 所 AM, < eo. 于 是 ， 


F (tx) — Flaky) S f (ae) — min f(r, + tdk) 


1 : 
= Im, V 2 cos? fk 
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ot 


YEE a Wi se 


cos? 8; 
5 amy 


(Milles — 2° l2)? 


cos? Ôh My 2 * 
< Fe (AY [za = Fe"). 
2 Cm) Yen) ie naga 


故 知 ， 对 一 切 都 有 
M? . ae 
Fersi) = Fa") > (1— 5745 cos? Oe) [F (2) — ‘a*)j. (11.1.28) 


1 


由 于 (11.1.21) ÈV. WEE ko 使 得 


M? 


2 
2m 


cos? fp, <1, Yk > ko. (11.1.29) 


由 于 |V Ek] #0, Kk fler) — f(e*) = 6 > 0. JA (21.1.21) 可 知 
FE n> 


. u 
- JI (1 ~ $4 cota) 2 n> o. (11.1.30) 
fHko amy 


FÆ. J (11.1.28) 和 (11.1.30) 可 证 ， 
F(E) — f(x") Bnd > 0 


WU k I ko 都 成 立 ， 所 以 (11.1.24) 成 立 . o 
上 而 引 理 说 明 ， 为 使 算法 收 伍 到 稳定 点 ， 我 们 需要 


加 
S | cos? 0, = +00, (11.1.31) 
k=i 


AA CEE Ee TR, RA EM A A FEN 
向 如 下 : 
EX 11.1.7 设 z&E X, WH 
dV F(x) 


Tun 
derb (2.x) liliz 


(11.1.32) 
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€ FD pe, X) 的 闭 包 上 的 解 称 为 可 行 最 速 下 降 方 向 . 

HF FD (m, X) 不 一 定 是 闭 集 ， 鼓 (44.1.32) 的 概 恰 可 能 对 任 
ff dc FD (x, X) 都 不 能 达到 . RATT RE PRA: eR 
FFD (z, X) GE, ARABI BR BR “OAT AL” HEY E 
HEIE A REL BE I- 


考虑 不 等 式 约 束 问题 
min f(z}, {11.1.33} 
st al 20 i=l, m. (11.1.34) 


没 Zh E X. 显然 Hek) 二 {icatwn) =O}. 为 了 寻找 第 次 达 代 的 
可 行 下 降 方 向 ， 可 考虑 还 近 问 题 : 


min ad? ¥ f(re), (11.41.35) 
g.t. 2, + ad © X. . (11.1.36) 


我 们 构造 这 一 子 问题 主要 的 目的 是 寻求 一 方向 d, OT ABE ledli 
很 小 . Æ ledi 很 小 时 ， (11.1.36) 实质 上 等 价 十 


clrTe tad) 20, 7 © Fixx) (11.1.37) 


为 了 便于 求解 ， 我 们 将 (11.1.37) 出 一 稍 强 的 条 件 来 代替 ， 即 


“ l 
ad? Veler) ~ 5ade2llei 20, jE Hag), (11.1.38) 
其 中 M>0R 
| ae 
max m max ive cfe) (11.1.39) 


的 一 个 上 界 ， FARR AAS BF PBC 4 ARE ad): 
mind’ V fler). (11.1.40) 


， M 
s.t. d? Vere) 一 5 Melle 20, i¢€ I(x,). 
(11.1.41) 
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进一步 令 qd BHR Ma, 则 上 而 问题 可 再 简化 为 


rind? Y F(te); 


m a i 3. ， . 
st. ae Veire — zld 20, ig fizz). 


(7.1.42}…(11.1.43) BTR DB 


max min [YX (tn) 一 D AG [a7 Veleg] ) = Sill 引 


A deR” 
© téi{r,) 


at. Ap So, ig (xp). 


EHAE Sk SE PE oh 
va (2%) - $ Ai Vel wl 
min 一 一 一 一 eT) 一 一 一 一 ， 
» Sk 
rE fag) 


at. A, 20, deirph 


对 任何 A; BOLE Ten), 和 i 不 全 为 等 ， 我 们 定义 


1 
dA = —— | V fize) ~ AsVeifap)), 
y = ( Tk a k ) 
ted (ay) 


WY AA (11.1.46) 的 目标 函数 
e(A)= $ Ale? 


#€F (ze) 
直接 计算 可 得 
2d(A)" Ver (zie) ~ dA 
V(r) = : ， 


2d(A)" Veg, (te) — IKA 


(11.1.42; 


(11.1.44) 


(11.1.45) 


(11.1.46) 


(11.1.47) 


({11.1.48) 


(11.1.49) 


(11.1.50) 
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其 中 {ki,ke,---,47} 是 集合 Tle.) MAR. 而且 有 


Vela) = -ee 


TOYTTOAY. (11.1.51) 
icin) . 
这 里 
TA) = (did) — Ven, (ar), dM) — Ver (p) e (A) — Ver, (zi)). 
(11.1.52) 
故 知 pA) 是 一 凸 函数 ， 设 X 是 (11.1.46) 一 (11.1.47) 的 解 ， 则 
d(\*)) 是 (11.1.40)—(11.1.41) BOAR. BOR dQ) = 0 则 a, 
是 问题 (11.1.33) 一 (11.1.34) 的 KK- 点 ;如果 dO) Z 0M aA) 
是 在 zz 处 的 可 行 下 降 方向 且 有 


ac) 有 


DSE <0. 


fetteg) 


dM) TY flan) (11.1.53) 
不 难 证 明 ， 子 问题 (11.1.40), (11.1.41) 有 非 零 极 小 值 当 且 仅 当 
dEV f(a} <0, (11.1.54) 
Yecifzk) > 0, t+ € Tax) (11.1.55) 


有 解 . 也 就 是 说 , 只 要 (11.1.54)-- (11.1.55) 有 解 , 则 必 可 利用 求解 子 
问题 (11.1.40) 一 (11.1.41) 得 到 一 个 订 行 下 降 方向 . 如 果 (11.1.54) 一 
(11.1.55) A. HBI 8.25 类 似 可 证 存在 ATG © Tan) > 0, 
$2 0, 使 得 


AVE (we) SO A Vele) =, (11.1.56) 
i€T(xe} 


MA PO AP 43 4 0. MA m 是 原 优 化 词 题 (11.1.33) 一 
t€] (2K) 


(11.1.34) AY Fritz John A. 
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另 一 个 求 序 行 下 隆 方 向 的 子 问题 是 直接 基于 (11.1.54) 一 
(11.1.55), 它 是 


min o (11.1.57) 

s.t. dV flan) S +0, (11.1.58) 
dT Velen) 2 —a, i€ Ire), 

(11.14.59) 

lidl] = 1. (11.1.60) 


REH, (11.1.57)—(11.1.60) 的 解 o* = 0 当 且 仅 当 (11.4.54), 
(11.1.55) 无 解 . 


§112 广义 消去 法 


考虑 等 式 约束 问题 : 
min fie) (11.2.1) 
st. efr) = D. (11.2.2) 


其 中 e(z) = (ale), wT 4 cm{2))T. 设 我 们 有 变量 ae 的 某 一 分 解 : 


z= te | (11.2.3) 
其 中 zp E R”, sy € R°”, 于 是 (11.2.2) 可 写成 
celrg,2n) = 0. (11.2.4) 
假定 我 们 可 从 (11.2.4) 中 解 出 sg, 即 有 
tg =¢(ry), (11.2.5) 
刚 {11.2.1} 一 (11.2.2) 等 价 于 
min flesan) = flew), en) = Flew). (11.2.6) 


TNER™— 


-< S01 - 


我 们 称 
alen) = Vin flzw) (11.2.7) 


HAET. ANE LE 


a 可 xz 8 
at: = B Fi ma 992. 
gm) Gan Tze, zN) + Gen Ozn fizo an). (12.2.3) 
9.7 
由 (11.2.4) 可 知 222 满足 
Onn 
art ð 
Ben ax zp, en)" + c(ag,ay)? =6 (11.2.9) 


; act 
假定 Fup 非 奇 蜡 ， 则 从 上 面 丙 个 式 子 可 得 到 


_ðf(zg, EN) 
dan 


ĝian) 


N Oc(ap, en)? [Peer | Flea, en) 
den dep 828 (439.10) 


我 们 可 将 既 药 梯度 写成 Lagrarge 函数 在 既 药 空间 上 的 梯度 : 


(en) = 区 -Un — ea) (11.2.11) 
A . 
其 中 和 是 满足 于 ar 四 _ Tle), 
Org Brp (11.2.12) 
HRTF. EEH, 4 Lagrange RF à 是 
Oc? {rp) —18f (2) a 
er | ks (11.2.13) 
时 ， 我 们 有 0 
Vella, à) = litem) (11.2.14) 


所 以 ， 既 约 梯度 可 看 成 Lagrange HA 2 BBE TE Baw 4b. 
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利用 既 药 榜 度 ,我 们 可 以 构造 无 约束 优化 问题 (11.2.6) ee HA 
索 方 向 ,例如 可 取 最 速 下 降 方 向 : 


A, = PN) {11.2.15) 
或 者 是 氢 午 顿 方向 


dy = -B7 allene} (11.2.16) 


这 里 下 标 k RAC kh GEES, By 是 一 个 近似 的 既 约 Hesse 阵 ， 
8, WAM. BA > 1) AERA (如 BFGS) Bee 
E 值得 指出 的 是 对 无 约束 问题 (11.2.6) 作 线 性 搜索 : 


min Fipl(an)e+adg), ry +ad;) (11.2.17) 


SES Ot FARER a) 在 曲线 
ciza, (zw) + ade) = 0 111.2.18) 


上 上 作 曲线 搜 索 ， 由 于 efz) 的 解析 表达 式 并 不 知道 ， 所 以 在 作 -- 维 
搜索 (11.2.17) 时 ， 每 个 试探 步 长 eo > 0 都 需要 利用 求 衣 ;11.2.18) 
来 得 到 

TB 人 (十 cad ‘11.2.19) 


我 们 可 用 近似 和 牛顿 法 来 解 ， 即 


r9 = (rn), {11.2.20) 

t+ 1) D cfzk iT 1 eg z; 

ath 一 rË [Peed (ty, (ew dk + de]. 
TB 11.23.21) 
的 在 aiit F, H ae 2. At): VER. Jl 


Di 


zi rm Rea, “Wa. 重新 进行 线 境 索 。 
下 机 给 出 的 是 一 个 一 般 的 变量 消去 法 的 计算 步骤 . 
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算法 11.2.1 (变量 消去 法 ) 
$i MHITA 620, k=1; 
步 2 计算 
deler) Ag ; : 
p= ba , (11.2.22} 
其 中 分 划 使 得 Aa EA 
由 (11.2.12) 计算 A; 
由 (11.2.11) 计算 Ge; 
步 3 MWR |fe < ¢ WHF: 
利 由 某 种 方式 产生 下 降 方 向 dpe, 即使 得 


dT Gp < 0; (11.2.23) 


步 4 对 (11.2.17) 进行 线 搜索 给 出 ak > 0,4 rr = lln) 
apd); (Qa yet Ondy), k i= k+ 1; 转 步 2. 口 

不 难看 出 ， 上 述 算 法 实质 是 求解 无 约束 优化 问题 (12.2.6) 的 算 
法 . 只 是 每 次 迭代 变量 的 分 旭 (zeer) 不 一 定 相 同 ， 利 用 无 约束 
优化 下 降 算 法 的 由 人 敏 结果 ， 我 们 有 如 下 定理 . 

定理 11.2.2 f(x), e(r APE — REE Be. R Vey) 
Very) l ETIR Le EA BCR, 则 算法 12.2.1 Se 
索 下 以 及 


S cos? {dx, fe) = De | (11.2.24) 
的 假定 下 所 产生 的 点 列 必 有 
lim inf H(V F(x) — Velsa)” Ax)|| = 0. (11.2.25) 
或 者 ， 
jim, 了 (ai = 一 co， {11.2.26) 


其 中 Ay = [Veler T] VF (ze). 
& dk = 一 各 , 则 显然 (11.2.23) 和 (11.92.24) 都 成 立 ， 这 时 算法 
12.2.1 就 是 在 分 离 变 量 后 的 低 维 子 空间 上 的 最 速 下 降尘 ， 
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考虑 任何 非 奇 异 矩 阵 S CR" 以 及 变量 蔡 换 


g= Sw. (11.2.27) 
对 w 进行 变量 分 离 
wy 
w= | | {11.2.28) 
- WN 
其 中 wa € R™, wy € RO. 利用 约束 条 件 
c{(S}gun + (S)wwn) = 0 (11.2.29) 
进行 变量 消去 得 到 
Wp glwy) (11.2.30) 


于 是 优化 问题 (11.2.1) 一 (11.2.2) 等 价 于 


min (SB + SNWN) = Fwy). 121.2.31) 


wN eR” 
只 要 SVY) Ja, WEARER A] BS 
Vur Flwn) = gw) = SKY f(e) — Vela], (11.2.32) 
其 中 是 满足 于 
SEV F(a) — Ve(x)" A] = 0. (11.2.33) 


FRAT MERE RAE RRR AE, S 
广义 消去 法 - 

算法 11.2.3 广义 消去 法 ) . 

#1 络 出 可 行 点 aj,e20,k=1; 

步 2 ”以 某 种 方式 构造 一 非 奇异 降 Sp, 且 有 分 划 Se = Sp 
(Siw) E (Sr) 5 Velar) FAR: | 
H (11.2.33) 计算 à; 
由 (11.2.32) 计算 r; 
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步 3 RE lel < ME: 利用 某 种 方式 产生 下 降 方向 dr 
其 使 得 
dad <0: (11.2.34) 
wa 对 
min f((Sz} a Plor) 十 ady) + (Sakwy + odxJ]} (11.2.35) 
进行 线 搜索 给 出 eg > 0; & 


teri = (SE) BBEIN + ands) + (Sw [Cen + æde]; (11.2.36) 


k:= k— 1: #3 2. 
在 算法 中 we 十 满足 于 zk = Spe, 的 向 量 . 与 消去 法 一 样 ， 
对 于 给 出 隐 试 探 步 长 a > 0, 需要 计算 
we = Flin)y + edp). {11.2.37) 
利用 近似 的 牛顿 法 求解 
el(fS,) awa + (Ss) [ae + ad;]) 一 0, (11.2.38) 
FREY ER 
wg) awl) — (Vela) Y (Ska US 


十 (Spin [latin ba + ad, ), i= 1,2. 
(11.2.39) 


PEER WREE KOM TRS RAS, MEA 
阵 ， 则 方法 就 是 消去 法 11.2.1. 
广 立 消去 法 每 次 选 代 的 变量 增 量 oa - zk 实际 上 是 两 部 分 
之 和 
Erol = ty tae +d, (11.2.49) 
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其 中 


dy.) = axl Spade. (11.2.41) 


di = (Se) eie((welw + ardi) — (wkl nl. 
“11.2.42) 


法 代 网 过 程 是 先 得 到 dl) 然后 是 在 dO? 方向 上 采用 近似 的 沾 顿 迁 
ASEM BH, BIB 11.2.1 所 示 . 


图 11.2.1 


从 图 11.2.1 即 可 看 到 和 迭代 方式 存在 的 不 合理 之 处 . 我 们 本 来 是 
希望 造化 点 都 在 可 行 域 上 ， 但 具体 选 代 过 程 却 是 先 远离 可 行 域 ， 
然后 再 校正 问 到 可 行 域内 . 除非 是 特殊 约束 条 件 , 这 种 离开 可 行 集 
然后 再 回来 的 技巧 在 要 求 所 有 和 迭代 点 都 是 可 行 点 的 方法 中 是 不 亏 
避免 的 . 但 怎样 才能 使 这 种 离开 可 行 域 的 “离开 程度 " 尽 可 能 地 小 
呢 ? 对 这 个 河 题 的 直观 答复 是 让 每 次 迭代 时 的 初始 搜索 方向 a 
是 在 ws 处 的 一 线性 化 可 行 方向 ， 有 理由 相信 ， 这 样 定义 的 di 和 
(11.2.41) 相 比 应 使 zk dy? 更 靠近 可 行 威 ， 从 而 使 得 从 ze + dh 
用 近 书 和 牛顿 法 计算 ony) 将 更 快 地 收 就 ， 图 11.2.2 是 关于 这 一 讨论 
的 示意 图 ， 


图 11.2.2 


这 样 选取 的 di 是 一 线性 化 可 行 方向 ， 所 以 人 们 将 此 方法 称 
为 可 行 方向 法 .显然 ， 当 


(Sa) Vele) =0 (11.2.43) 


RER dP 是 一 线性 化 可 行 方向 ， 正 因为 恕 此， 可 行 方向 法 可 
以 看 成 是 一 种 特殊 的 广义 消去 法 ， 


§11.3 广义 既 约 梯度 法 


广义 既 约 梯度 法 (GRG 法 ) 实质 上 就 是 算法 11.2.1 bd, = 
-h 的 方法 ， 它 就 是 在 既 约 空间 的 最 连 下 降 法 . 

在 每 次 选 代 中 ， 线 搜索 可 用 Armijo 步 长 技巧 ， 即 逐步 缩小 步 
K 线 搜 索 条 件 可 简单 地 取 为 


HETTER) = f(a). (11.3.1) 


EA PERAK (11.2.31) thee H RINBSABRN 次 
CN 是 一 预先 给 定 的 正 整数 )、 如 果 N 次 近似 牛顿 步 仍 来 收 敏 则 缩 
小 步 长 a, BREN. 由 于 牛顿 若是 二 次 收 敏 的 , 所 以 当 靠 近 解 时 ， 
(hme SPEAR. IR (11.2.21) 就 可 得 到 足够 精度 的 可 行 点 rea. 
因而 在 实际 计算 中 N BAY 3 一 6 之 间 的 正 整 数 . 
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下 面 给 出 的 是 基于 Armijo 步 长 简单 线 搜索 条 件 的 广义 既 约 樟 
EH- 

算法 11.3.1 (MBAR EER) 

步 1 SETIA c1.¢20,F > 0; M ERM: := 1. 

步 2 计算 


-= 


Ap! 


Veler)" = Ae 
Noy 


其 中 分 划 使 得 Ap E RX" HEAR, 
由 (11.2.12) 计算 A; 
H (11.2.11) 计算 Ge. 
步 3 WOR [Gul] <e 则 停 ， 
S dy = he Maza >0 — 
w4 zn = (te)w + adk; 
£B = (te) Bi J := D. 
ws xB = XB — Ap’ celz, zn); 
计算 ees, on}; 
如 果 lele en)|| < E WEE T: j= F +1; 
如 果 了 < 对 则 转 步 5 
步 6 a := 0/2, 转 步 4; 
步 7 如 果 fizg.en) > fier) MHE 6; 
Viet = (tn, tN), 
下 :一 天 十 1; 转 步 2. 口 
这 个 算法 的 本 质 是 一 梯度 方向 法 ， 所 以 简单 的 线 搜 索 条 件 
(11.3.1) APRE RERA EEH AE 11.3.1 并 不 能 保证 点 
列 zk Woe a ALI (11.2.1) 一 (11.2.2) 的 上 -下 点， 解决 这 个 
问题 的 办 法 有 两 种 . 第 一 种 是 将 简单 下 降 条 件 写 成 Wolfe 线 搜索 
Fi MER 


(zkjw + onde) < Filzen) + bardi Ge, (11.3.3) 
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其 中 心 是 步 长 ，8 € (0,1 十 一 下 常数， 了 (zw) 由 (11.26) EX. 
(11.3.3) aye HES ay 


Flas) < Few) - oll Gal B- (11.3.4) 


于 是 我 们 将 算法 11.3.1 HPT PRAWA fenan) 2 f(s) 
BRK 


fizera) > flee) — olll. (11.3.5) 


则 知 产 生 的 点 列 在 PEASE EAE Wolfe 搜索 条 件 (11.3.3). 男 一 
种 办 法 是 在 步 3 中 要 求 初始 步 长 ol 满足: 


aft 

一 (11.3.6) 
[Igell 
20 al 

fr = 400, (11.3.7) 
<= |[9x'| 


RAPA HP BOE RAIE T g 
性 结果 ， 

定理 11.3.2 ṣi f(x), clr) TRIES PA, BEA 11.3.1 步 
2 中 的 分 划 使 得 4 到 一 致 有 界 ， 如 果 步 3 中 的 ol? AE a 
-RER WREED T 中 的 判别 条 件 换 成 (11.3.5), 如 果 = =O 
而 且 算法 不 有 限 终止 ， 则 必 有 


Jim, | 了 | = 0, (11.3.8) 
或 者 
jim, flr) = 一 29 (11.3.9) 


定理 11.3.3 H f(z), ce) DRETA, BAIE 113.1 步 
2 中 的 分 划 使 得 AB! 一 臻 有 界 ， 如 果 步 3 中 的 of? 满足 (11.3.6)， 
(11.3.7), 如 果 e = 0 MARA BSE, Dl (11.3.8) 和 (41.3.9) 
MEZUR. 
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广义 既 约 梯度 法 的 优点 是 出 于 消去 变 草 而 使 间 题 降低 丁 维 数 . 
该 方法 还 可 充分 地 利用 问题 的 稀 琉 、 常 系数 等 性 质 ， 使 得 在 计算 》 
和 和 时 速度 提高 同样， 在 As 称 蓝 时 ， 订 利用 求解 稀 看 代数 方 
程 组 的 技巧 来 进行 近似 牛顿 迭代 求 得 re, 所 以 ， 对 于 三 大 量 线性 
约 来 或 者 是 稀 栈 结构 的 大 规模 非 线 性 规划 问题 ， 广 义 既 约 梯度 法 
是 最 有 效 的 方法 之 一 - 

广义 既 约 梯 麻 法 的 缺点 是 它 每 次 选 代 都 要 求解 一 个 或 多 个 非 
线性 方程 给 ， 当 Ag 不 是 稀疏 而 且 设 有 特殊 结构 时 ,， 关 次 迭代 所 需 
计算 量 将 相当 大 . 


$511.4 投影 梯度 小 


从 ji1.2 节 最 后 的 讨论 可 知 ， 为 使 广义 消去 法 的 号 ) 是 一 线性 
.化 可 行 方向 ， 我 们 应 选取 Si 使 得 


(EE Velg)? = 0. (41.4.1) 
我 们 考虑 在 广义 消去 法 中 用 最 速 下 降 法 方向 ， 即 
dk = — Jk, (11.4.2) 


则 由 (11.2.41) 可 知 


dg’ = —ox(Sk)n(Se)WVS (ee). (14.3) 


BR, (Se) Sr) y 是 从 及 "到 由 (Sk) 的 列 向 昌 所 张 成 的 子 空 间 
的 一 个 线性 映射 . 假定 Ae = Vel) 是 列 满 秩 的 ， 则 由 (Sk)w 的 
列 向 量 所 张 成 的 子 空间 就 是 A HEEE. 所 以 (11.4.3) 所 定义 的 
方向 实际 .上 就 是 目标 函数 的 负 梯 度 方 向 在 约束 疝 数 的 Jacobi 阵 的 
零 空间 的 上 映照。 如果 Si 满足 


(Se) (SE)N = T, (11.4.4) 


- 611 : 


H (Sp)jw (Si 各 E-PREBT, & A, 列 满 秩 的 假设 下 有 
Py = (Su) (SE)N 
= I- Agt AP Ag) AQ. (11.4.5) 


这 时 PV fle.) 2 Vile.) EAL 零 空间 上 的 授 影 ， 因 而 广义 消去 
法 就 是 一 个 投影 梯度 法 . 在 投影 梯度 法 的 实际 计算 中 , 我 们 可 利用 
A; 的 QR 分 解 : 


An = [Yk Ze] 四 , (11.4.6) 
显然 我 们 可 到 (Sk )w = Ze. 于 是 ， 
a: = Zi gr (11.4.7) 
是 既 约 梯度 .这 时 
dx = -Zair = -ZZi on (11.4.8) 
是 负 梯 度 在 AE 的 零 空间 的 投影 ， 它 是 f(x) 的 下 降 方向 ， 所 以 可 


选取 as 使 得 
flex + anda) < Jirre) (11.4.9) 


由 于 zx + cede 可 能 不 是 可 行 点 ， 我 们 可 用 近似 牛顿 法 求 HFT 


al) gp + ardi, (11.4.10) 


BY ol) YL Role), ga 1,2,.... 
(11.4.11) 


当 (ar?) Wae FMB IEEE (114.11) BS tkp = 
out) 上述 选 代 实质 上 等 价 于 在 选 代 式 (11.2.39} 中 取 (Sida = = Yp. 

当 ak 充分 小 时 ， 
exti 一 (zs + Opty) |] = Ofo2), (11.4.12) 
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所 以 一 定 可 选取 ak > 0 使 得 
Flteqi) < Flag). (11.4.13} 


下 面 给 出 的 是 基于 Armijo 步 长 简单 线 搜索 条 件 的 投影 梯度 法 ， 
算法 11.4.1 (投影 梯度 法 ) 
步 1 给 出 可 行 点 ,5 之 0,5> 0, N EER 有 :一 | 
步 2 计算 QR 分 解 


, Re 
Ve(x,)7 = [Yk Zel | 0 ， 


Ja = ZEN f (te); 
如 果 gll < e 则 停 ; 
dy = -Zkĝk; W a = al) >00. 
HF 3 y i= Tk + adp; 
i :一 0. 
步 4 y= y Yeh; ely); 
WÈ el < € Al F) < Flan) 则 转 步 5; 2 = 72 +1; 
mE ic N 则 转 步 4; 
a = 0/2: 转 步 3; 
HBS ekp i= y, ki= ktl; 转 步 2 口 
和 广义 既 约 撞 刻 法 类 似 ， 算 法 11.4.1 只 有 在 修正 线 提 索 条 件 
或 者 限制 初始 步 长 寸 可 能 保证 算法 的 收 伍 性 . l 
对 于 带 不 等 式 约 东 问题 , 可 利用 积极 约束 来 构造 林 行 方向 . 积 
极 集 法 的 一 个 问题 是 可 能 出 现 “ 锯 齿 ”{Zigzagging) 现象 ， 使 得 点 
NR FE AR AR EAL. 这 种 现象 最 早 由 Wolfe (1972) 所 指出 . 克服 句 
此 现象 的 可 行 方向 法 已 有 不 少 人 提出 . 克服 锯齿 现象 的 基本 思想 
是 不 轻易 将 约 东 从 积极 集合 中 去 掉 . . 
如 果 在 算法 11.4.1 步 2 中 最 后 一 行 的 搜索 方向 dk = 一 了 区 
换 成 
dk = —Zpzp, (11.4.14) 
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其 中 2, E 及 "~m, 使 任何 满足 


zp ak <0 (11.4.15) 


Hai, 则 算法 是 一 个 一 般 形式 的 线性 化 可 行 方向 法 ， 简称 为 可 行 
方向 法 . 

根据 我 们 的 定义 ,可行 方向 法 中 的 搜索 方向 de 并 不 是 可 行 方 
rq. 它 妈 是 一 个 线性 化 可 行 方向 . 只 有 在 线性 约束 时 是 例外 ， 这 时 
线性 化 可 行 方 向 和 可 行 方 沿 是 一 致 的 ， 而 可 行 方向 法 最 官 就 是 对 
线性 约束 提出 的 - 这 个 方法 推广 到 非 线性 约束 ， ATA A y 
它 可 行 方向 法 . 从 精确 的 角 庆 来 性 碟 ,， 这 方法 在 非 线 性 约束 时 应 时 
做 线 社 化 可 行 方 向 法 ， 而 不 是 可 行 方 向 法 . 

对 于 非 线性 约束 , 线性 化 可 行 方 向 一 般 不 是 可 行 方 千 ， 因而 沿 
dx 的 任何 搜索 可 能 导致 不 可 行 点 ， 就 需要 牛顿 选 代 或 近似 牛顿 近 
代 使 之 回 到 可 行 域 , 然后 再 沿 搜索 方向 移动 并 回 到 可 行 域 , 产生 所 
谓 的 “花边 ”现象 ， 如 图 11.4.1 所 示 . 


B 11.4,.1 


811.5 线性 约束 问题 


对 于 线性 约束 问题 ， 避 行 方 向 法 是 很 有 效 的 . 例如 ， 对 于 等 式 


- 614 - 


芍 上 来 问题 
min f(r), {11.6.1} 
st, Ata =h, (11.5.2) 


Hebe RB ACR ™ Be (A) = m, fle) ERR. a 
行 方向 社 的 搜索 方 癌 可 GR 


dy = Zdp, 11.5.3) 
其 中 de E mem, Be Er x(n) 满足 
ATZ=0, (11.5.4) 


dy ZTV ze <0. (11.5.5) 


特别 地 ， 肥 dk = -ZTV flee), 则 可 得 到 如 下 的 基于 最 速 下 降 的 可 
行 方向 法 : 
算法 11.5.1 
步 1 给 出 (11.5.2) HATA zl 
给 出 或 计算 ZE ATZ =O H 
(4) =n-—mk=lLe Bo. 
步 3 dy =—-ZZTV F(a); WR dsl <e 则 停 ， 
对 fle) 沿 方向 de 进行 线 搜 索 求 给 a, > 0; 
Ekti = Th 十 Okiki 
k:=k +1; $446 2. 口 
这 个 算法 实质 上 就 是 在 可 行 域 上 的 最 速 下 降 法 ， 所 以 在 一 定 
的 线 搜索 假定 下 就 可 证 明 算法 的 收 和 化 性 ， 当 惩 阵 也 满足 ZUQ = 了 
时 ， 虽 算法 11.5.1 就 是 -~ 个 投影 梯度 法 . 
下 面 我 们 介绍 一 个 求解 一 般 钱 性 约束 优化 问题 的 投影 梯 境 法 ， 
“2 H Calamai 和 Moré (1987) 给 出 . 
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对 于 一 般 线 性 约束 优化 问题 


min f(z), (11.5.6) 
st.afz=h, ic £, (11.5.7) 
aTe zba ied, (11.5.8) 
可 行 域 为 X: 
X = {r]ja] z = b;, i€ E;al z 2b, ie Th. (11.5.9) 
cE BARR PH: 
Piz) = arg min{||z— ||, 2 € X} (11.5.10) 


其 中 argmin 是 指 任 一 = © X (6 ||z—2|| 达到 最 小 ，| .|| 是 一 内 积 
范 数 ， 为 了 简单 起 见 ， 我 们 假定 外 . || BMRA || -lz 
考虑 最 速 下 降 法 ; m 是 在 下 面 直线 


Zela} = rn 一 aV f(r) (11.5.11) 


ERA, AFRMNBRAR ATT. WEE (11.5.11) 利用 P R 
RE X, 得 到 折线 


Tela) = P zk - aV fiep). (11.5.12) 
我 们 对 f{z) 沿 zxta) 进行 折线 搜索 ， 即 求 or > 0, 使 得 ， 


Flara) < fzr) + or (te(an) — te)? Vi (ee), 


(11.5.13) 
a, >y BË ok 2 yo Ge > 0, (11.5.14) 

其 中 Gx 满足 
F(wK(&e)) > Flee) + pa (eo) — zr) VS (ee). (11.5.15) 


- 516 - 


Yo 72: #1, #2 EERS, H p ga E (0,1). 

Calamai 和 Moré 的 方法 可 写成 如 下 形式 . 

算法 11.5.2 

步 1 给 出 可 行 点 wis je (01), > 0, 09 =1, b= 1; 

#2 Qk := Mmax{ Zapi; 7}. 

#3 如 果 (11.5.13) 满足 则 转 步 4, ak = ce, /4; 转 步 3; 

步 4 tepi :二 klak]; k i= k-ti; 转 步 2. 口 

显然 ， 算 法 11.5.2 求 出 的 on, 对 于 H = p 1 = y 2 = 1/4 
满足 (11.5,13)—(11.5.15). 
HT Plz) HEX. HHEH ze RY, 有 


(2 — P(x))"(z- P(r) <0, Yze X. {11.5.16} 


FEL NRPS 2 = £h ~anVS (ey) A z= zx 得 到 


(te ~ cen V flex) 一 Ekt) (Ek 一 Eps) = Ù. (11.5.17) 


于 是 由 (11.5.13) 和 (11.5.17) 式 可 知 
— », (| 
Fer) — Fler) > py ee all (11.5.18) 
Xk 
首先 ， 我 们 有 如 下 引 理 . 
引 理 11.5.3 R f(z) ETAR X 上 连续 可 微 且 在 X 上 下 
HAR. 如果 Vf) 在 可 行 域 上 一 臻 连续 ， 则 由 算法 11.5.2 产生 
的 点 列 满足 


1: err 一 zrli 
im 一 一 一 


1 0. (11.5.19) 
k— oo ah 
证 明 ”假定 引 理 非 真 ， 则 存在 无 穷 子 列 Ko 使 得 
je = ally 6, VRE Ko. (11.5.20) 
k 


其 中 占 >0 RPK ERDERA HELA (11.5.18) 可 知 对 
mA ke Ko 都 有 


Fiar) 一 了 (ki 2 burle — cel] > Ceres. (11.5.21) 
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因为 fie) ABR oT PAW zr 都 是 可 行 点 ， 所 以 
.LAfe 一 所 zt < +90. (11.5.22) 
k=i 

利用 (11.5.21) 和 (11.5.22) 即 得 到 


lim zsp -il = lim a, = 0. {11.5.23} 
k oeo koan 


ker key 
AMT. AEIR E © Ay, (115.10 HE- TRETRY OE 
Qk 2 Year, . (11.5.24) 


B (115.15) 起 成 立 ， 利 用 范 数 


_ {P(e + od) -=| 
_ : . 


Pla) a> (11.5.25) 


的 单调 非 增 性 ， 和 关系 式 (1.5.24), 我 们 可 证 


lte 一 op; 1 一 Xi | 
Ll ui (1, 2 yle zeta, 
Xk Ya On, 


(11.5.26) 
于 是 在 (11.5.16) F £ = £p — ay V flan), z= ce, 可 得 


Hoe = Il2 
~(ay (x) — ay) VF (ax) 2 ile — 2e(Ge) I" 


Qk 


1 - 
2 min {1, — palles 一 rx, (dy)] 
7 (11.5.27) 


SAA FR AW ke Ko 都 成 立 ， 由 于 Vf(z) EX ERGE, 
我 们 有 


Frka) 一 zk 一 (zhfak) — te)? Vi (ex) + of er (Ge) 一 ze 
(11.5.28) 
由 (11.5.15) 和 (11.5.28) 即 知 


(rea) ~ ce)? V fhr) < olier — erlar). (11.5.29) 
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(11.5.29) 显然 与 (11.5.27) HATA. ew S| REA R. [] 
引 理 11.5.4 xt eX 是 问题 (11.5.6)-- (11.5.8) 的 KT 点 当 
且 仪 当 存 在 5> 0 使 得 


Pla” -aVflz")) = 2", 111.5.30) 


对 一 切 a € [0,6] 都 成 立 . 
证 明 (11.5.30) 等 价 丁 


x — V fle") — xl < ja" — 6V F(2*) — zlla (11.5.31) 
Stil re X SPA. FA 是 山 集 ， (11.5.31) 等 价 于 
(wz (11.5.32) 


对 所 有 充分 靠近 x* 的 可 行 点 x 者 成立 . 这 等 价 于 x* 是 通 数 x 了 V 
Jah EX 上 的 极 小 点 , 而 后 者 等 价 于 xz* 是 问题 (11.5.6)- 一 (11.5.8)} 
的 KT 点 . 口 

利用 上 面 两 个 引 理 训 得 到 算法 11.5.2 a a ER. 

定理 11.5.5 f(x) ETIR AX LEA A, 则 算法 11.5.2 
产生 的 点 列 {rx} 的 任 一 聂 点 x* 都 是 问题 (11.5.6) (11.5.8) AY KK- 
T OA. 

HEAR ”假设 定理 不 真 ， 则 有 {r} -ARAF I E 


dim 2, = 2°, (11.5.33) 
K -= oe 
且 
P(x" -EV fir Er", (11.5.34) 


Fh 8 >O, Ko 是 {1,2,…} 的 一 个 子 集 ， 由 于 (11.5.33), 我 们 可 候 
E zx ES (ke Ky), 其 中 5 是 一 有 界 闭 集 ， 因为 Vf(z) ES 上 一 
BES, S| 11.5.3 可 知 


A en — 
tim Heer eel _ 9, 
kEKG Ck 
Ls 


(11.5.35) 
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由 于 f(z) 的 连续 性 以 及 (11.5.33)---(11.5.34), 我 们 有 


tim Ute) eel PE OVE) Oe vg i536) 


kekg 6 é 


-+ 


因为 (11.5.25) AES AI le) 是 单调 非 增 的 , 由 111.5.35) #0 (11.5.36} 
H ar > OMMAARPAKM ke Ko Ma. Be 


flan) — flees) > elI TE) (Erlak) — 2x) 
> pl V f(z) (zrl) — zi) 


lato) — wl 


空 fey 
(11.5.37) 
利用 (11.5.37) 和 (11.5.36) 即 可 得 到 
jim inf{ f(x.) 一 fF {wit1)] > 0. {11.5.38) 
这 显然 与 lim fle.) = f(x*) 相 了 矛盾 .所 以 定理 为 真 . 口 
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第 十 二 章 ”逐步 二 次 规划 法 


812.1 Lagrange-Newton 法 


考虑 等 式 约束 优化 问题 
min f(z) . (12.1.1) 
s.t. e(z} = 0. (12.1.2) 


r 是 一 个 K-T 点 当 且 仪 当 存 在 XE R™ 使 得 
VFz) — Ve(x)? A = 0, (12.1.3) 
—e(x) =0. (12.1.4) 
根据 Lagrange 函数 的 定义 ， 
工 (mA = fle) — Aez), l (12.1.5) 


(12.1.3)—(12.1.4) 实质 上 就 是 要 求 Lagrange 函数 的 稳定 点 ， 因 而 
一 切 基于 求解 (12.1.3) 一 (12.1.4) 的 方法 都 称 为 Lagrange 方法 ， 给 
定 当 前 选 找 点 Zz © 及 "及 和 A ER”. Sem! 112.1.3) 一 (12.1.4) 的 
Newton-Raphson 步 为 (rje, (Aj), CWE 


on ae) (ea) _ (7 一 ees) 
—A(x,)? o Me) elz} ' 
(12.1.6 


- 521 ， 


其 中 


4 一 Yelz) , (12.1.7) 
W(x,A) = VË f (2) ~ SOO V cilek). 
int (12.1.8) 
考虑 罚 棚 数 
Pia A = FFE) AAE + lle(z)f, (12.1.9) 


ARRE. Hi (12.1.6) 所 定义 的 (62) 和 (6A), WE 
MEDE ENDON Plex, Ar) = —2P(ep An) <0. (12.1.10) 


这 里 VP RRE (2,4) 空间 上 的 梯度 ， 下面 给 出 的 算法 就 是 基于 
(12.1.6) 的 算法 ， 所 以 它 被 称 为 Lagrange-Newton 法 . 
算法 12.1.1 
步 1 给 出 r ER", A ER™,3e(0,1),e20,k:=1; 
3620 计算 Plog, An); 如 果 Pirr, Aa) < © WE; 
求解 (12.1.6) 得 到 (6x), 和 (GA) a = I: 
” 步 3 如 果 


到 人 二 站 (人 人 一 (12.1.11) 


则 转 步 4: a = ajd, H 3; 
+H 4 Eker = Ep EEE; Aged = Ant afOA)z; 
kimk —1; 6p 2. 
SP EERE, RT AO Fee a BR. 
定理 12.1.2 i$ f(z) 和 cle) MEAT, to RE 


Wren An) -Ald 


~ Alay)? o (12.1.12) 


RAA M {(xx: 和 Aa)) EREA E P(z, A) = 0 的 根 ， 
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征明 (B (BA) 是 (an, An)} I TE 
P{z, A) > 0. (12.1.13) 


WARE PRS Ko 二 {1,2} EG 


lim zw, =, lim Ag = Ap 12,1.14 
eer, F > ney F K ( ) 
hea kr om 


根据 线 搜索 条 件 (12.1.11), 我 们 有 
Plte Akt) S G — Bar) Plan, Ax). (12.1.15) 
JA (12.1.13)—{12.1.15) 可 知 


lim ay = 0. (22.1.16) 
ke hy 


Kao 


根据 算法 的 构造 可 得 
P(ay 十 EGR(5ejk Ay + ECEA) > {1 — Ban) Plame, An) (12.1.17) 


对 所 有 充分 大 的 上 E Ko HRX, 其 中 ås = dor € (0,1). W 
(8x, SA) 为 


W(z,A) A(Z) f 6r 7 VEZ) “ee 
-Aaa o ) (5) cl5) 
{12.1.18) 


的 解 ， 由 于 âr 一 0: RMA 
Pla + &yéa, À + ddA) — PE, A 
lim - 


KER Âk 


k 一 on 


= —2P(%, A) < —Piz, j). 

| {12.1.19) 
利用 (re, An) 一 (2, 和 ) (X € Ko) 以 及 (12.1.12) 的 一 致 有 界 性 即 知 
(ór) (EAJk) + (62,60). 于 是 对 充分 大 的 & Ko 有 


Pizy + (52) z, An + Êk (EAJk) 一 Pirk, Ax) 
aX, 


= P(x., Ag). 
(12.1.20) 
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HF 9 <1, (12.1.20) 显然 与 (12.1.17) 相 了 矛盾， 此 矛盾 说 明定 理 成 
FL- 口 

E 12.1.3 F(s) P e(r) KEE A, 如 果 矩 阵 (12.1.12) 
一 至 有 界 ， 则 由 算法 12.1.1 所 产生 的 点 列 {r} 之 任 一 BE AD FE fey 
题 (12.1.1)—(12.1.2) 的 区 下 点 

TEA ”假定 定理 不 真 ， 由 于 Pirre Ao 的 单调 下 降 性 , 我 们 有 


dim Ptk, Ax) > 0. (12.1.21) 


这 一 极限 和 条 件 (12.1.11) 可 推出 


Ue — pak) > (12.1.22) 
k=ł 
从 上 式 可 知 
So an < +00. (12.1.23) 
HF 
Way, Àp) “ee (ba) x | Te 
， 一 , (12.1.24) 
—A(x,)* 0 An + (6A}% —efe,) 
iA BFF ETE HRY 7 > 0 使 得 


(Seal + HAr + (Adal <r V Feed] + lels h (42.1.25) 
We B {zx} 的 征 一 聚 点 .定义 集合 
Ss = {zillz — žl} < 5}, {12.1.26) 


其 中 6 > 0 是 任意 给 定 的 一 正常 数 . 由 (12.1.25) 知 存 在 常数 9> 0 
使 得 对 一 二 zi E Ss 都 有 


N(éz}a ll < 9. (12.1.27) 
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从 (12.1.23) FE k 使 得 
Vas < = (12.1.28) 
k=k 


由 于 3 是 {er 的 聚 点 ， 改 存在 六 > 天 使 得 
le; -zl < E l (12.1.29) 
M (12.1.27) 一 (12.1.29) 以 及 ||£k41 — vel] = ve l|(6a)g|| 可 知 
zk Ee Ss, Wk ok. (12.1.30) 
于 是 (12.1.27) 对 一 切 k 2k ABATE. AE A (12.1.23) 可 知 
jim, zk = 8. (12.1.31) 
从 上 一 定理 知 {(xx, 和 4)} ETRA BA 
Jim {Xgl = 00. (12.1.32) 
于 是 ， 从 (12.1.32) 和 (12.1.25) 可 知 
Arth = lAr 二 eefSA)e| 
= | 一 ae 十 ef + (6A),) II 


= 人 -oil 二 OOtasy < lAr 
(12.1.33) 


对 一 切 充 分 大 的 都 成 立 ， 这 显然 与 (12.1.32) FB. 矛盾 说 明定 
理 成 立 . 5 

关于 算法 121.1 AOR RE, FRIAR ER. 

定理 12.1.4 BAR 121.1 PAM APOE ot, 如果 fle) 
Al ce(s) 在 x* 附近 三 次 连续 可 微 ，A(z*) 是 列 满 秩 ， 而 和 且 在 e 处 
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二 阶 充分 条 件 满足 ， 则 必 有 MAn E 


z z L tA HPA 
f a Ni- ofe “ pli 1 (12.1.34) 
\ AR 17A" } | Ai — 47 |i i ' 


证 明 ”由 于 算法 12.i.1 实质 上 是 (12.1.3), (12.1.4) 的 Newton- 
Raphson Wik, WALES PRICE 
Ti A) — Ale’) 

— Alay? 3 


是 非 奇 异 的 ， 改 知 对 充分 大 的 类 有 


(raa =0 ( (E) 
VENEEN hae, 


2 
.  (42.1.36) 


利用 (12.1.36) 和 f(x), cle) 的 三 次 连续 可 微 性 ， 知 对 所 有 充 介 
KHI k, (12.1.11) Æ e= 1 bR. 于 是 (12.1.34) 成 立 . J 
应 当 指 出 药 是 ， (12.1.34) FET TARL RREA: 


{er — 2° || = Olax — e" |}?}- (12.1.37) 
APB AT {zx] RU SORE, RES ta Ke: 
引 理 12.1.5 ”在 定理 12.1.4 的 假定 下 ， 我 们 有 
Eki = Of lee — 2 earn), (12.1.38) 


其 中 
Ek = ær — 2" |] + [fAs ~ A*I. (12.1.39) 
证 明 ”从 定理 12.1.4 的 证 明 可 知 对 所 有 充分 大 的 大都 有 cx = 
1. 于 是 由 (6x), 和 (6A), 的 定义 可 得 到 
Witr Ak) AlE) Tepi 一 2* B —V¥ flr) + Alay, Ag 
| ~A(wn)™ 0 de E (zx) 
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W (rn, dean MT) ~ AU) An — o 
+ . 
Alky [£k 一 z”) 


(A(t) -ALA = A) + Oljer = 2H) 
7 Oller — #* |?) 


- [Plena lilek -= a*i + lAr — em 
E O(itee — 2°17) 
= Often — x" llan). (12.1,40) 


MERHER (12.1.35) 的 非 奇 异性 即 知 引 理 为 真 ， i 
定理 12.1.6 ”在 定理 12.1.4 的 假定 下 ， 点 列 {zx} 超 线性 收 
AT r 且 对 任意 给 定 的 正 整 数 p 都 有 


P 
ler = e*l = of lex = aT ler- 7l) 02.1.41) 


arl 


证 上 明 OM (12.1.38) BP UR PY {ax} BER PEAR ct. 对 任意 
给 定 的 正 整 数 p, 反复 利用 (12.1.58) 可 得 到 


exti = x = Ofeggi) = Of [ze ~ 2* Hex) 


= Ofte -- 2") Hze- 1 — 2 iler-1) 


F a, 
=0 (lax | ( Il [ftp og — a*li)er p} 
j=L 
BP 
= offer -e"l J ler- = e*t} 
5 一 ] 


A KUE SE H A7- 口 

'Lagrange-Newton 法 的 -个 重要 贡献 是 在 它 的 基础 AET 
逐步 二 次 规划 方法 ， 后 者 已 经 成 为 当今 求解 中 小 规模 非 线性 约束 
优化 问题 的 一 类 最 重要 的 方法 . 


12.1.42) 
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我 们 将 (12.1.6) 写成 如 下 形式 : 
W (ae, A Sr) + VHTE) = Alan) [Ag 十 (6A)a], 


(12.1 43) 
larg) + Alay)? (6m)k = 0. (12.1.44) 
不 难 发 现 ， (8x), 是 二 次 规划 问题 : 
min dTV f(a) + 2d W (au, 和 
| 2 (12.1.45) 
s.t, ean) + A(xk)Td = 0. (12.1.46) 


的 K-T A- iH (n+ (5 和 A)k) 是 相应 的 Lagrange RF. HiL, 
Lagrange-Newton 法 可 理解 为 逐步 求解 二 次 规划 (12.1.45) 一 (12.1.46) 
HATA. A1 BSH. HE k >l, 有 


Anta = Ant ag(bA}n = Ak + anlar — Arl. (12.1.47) 


其 中 ir 是 (12.1.45)—(12.1.46) 的 Lagrange RF, op BA kK 
迭代 的 步 长 . 


§12.2 Wilson-Han-Powell 方法 


本 节 我 们 介绍 一 个 逐步 二 次 规划 方法 ， 这 个 方法 于 1976 年 
由 Han (HEF) 提出 ， 该 方法 是 基于 上 一 节 所 讨论 的 Lagrange 
Newton 方法 . 在 每 次 迭代 中 用 一 修正 矩阵 Bu (CREW (te, An). 由 
于 Lagrange-Newton 方法 早 在 Wilson (1963) 所 考虑 ， 以 及 由 十 该 
方法 后 经 Powell (1977) 所 修改 ， 所 以 ， 通 常人 们 称 其 为 Wilson- 
Han-Powell 方法 . 

考虑 一 般 非 线性 约束 问题 (8.1.1)- 一 (8.1.3)， 类 和 似 {12.1.45)-- 
(12.1.46), 我 们 构造 子 问题 : 


1 
。 T T 
d+- 
Fert gk at Bad, (12.2.1) 
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s.t. aler) d + cilts) = 0, tE E, (12.2.2) 
alze) d+ cilz} 20, ie€ I, (12.2.3) 

其 中 
Alan) = [aifop) r amher) = Veler)"; (12.2.4) 


ge = gre) = Vilar), E = {1,2,---m.e}, T= {met 1,---,m}, 
Bh c ROX" E Lagrange 菌 数 的 海 色 阵 的 近似 . 记 (12.2.1) (12.2.3) 
WHR dp, Wilson-Han-Powell 方法 就 是 用 d, HEAR k KERR 
搜索 方向 ， 记 Ax 为 (12.2.1) 一 (12.2.2) 的 Lagrange FF. HH 


gn + Bidk = Alex)Ax, (12.2.5) 
(Axi BO, € I; (12.2.6) 


(Agjeler(wa) + as(ay)? da] =O, iF. 
(12.2.7) 


值得 注意 的 世上 式 定 义 的 A, PEATE MG A, 是 不 一 样 
的 ， 

di 的 一 个 很 好 性 质 是 : 它 是 许多 罚 函 数 的 下 降 方向 ， 例 如 ， 
对 于 Ly 精确 罚 函 数 我 们 有 : 

引 理 12.2.1 4 dy % (12.2.1)—(12.2.3) 的 K-I A, M 是 
相应 的 Lagrange FEF, WF L Tew 


P(z,o) = f(z) + alle @)h, (12.2.8) 
其 中 cle) H (10.1.2)—(10.1.3) Fe, A 
Pi (xy +odp,7)|,_. < -RR Bid -olle (er) ele). (12.2.9) 


如 果 di Beds >O Bo BS lAglloo, 则 de ET BR (12.2.8) 在 x, 处 
的 下 降 方向 ， 
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证 肯 AA (c+ ADH ME, BATA 


. P + adk) — P(e 
Pligg + odr, a} o = lim (fe + ade} (zx) 


a Oy oO 


o llel) + oA( ai) T d] la — Kerla 
oO 


=gid,+ lim 
. TD 


< fds + lin olele) + ACen) ds) = fo ea 


= gk dy — oe (rey. (12.2.10) 
从 (12.2.5) 和 (12.2.7) 式 可 推 得 
Gedy = -df Bydy + AP e(zy). (12.2.11) 


利用 (12.2.10) 和 (12.2.11) 即 知 道 (12.2.9) 式 成 立 ， 因 为 A, 满足 
(12.2.6), 由 c(a) 的 定义 即 有 


AF earn) < YO Okil fel? (wal, (12.2.12) 
i=l i 


HERRA (12.2.9) 式 ， 再 利用 dP Bid, > 0 和 oa > Arle HE 
设 ， 我 们 有 


Pi (ay + ody, a)l ao < -dF Brdy ~Y (e = (Arh zl < 0. 
5 (12.2.13) 

从 而 引 理 成 立 . 口 
下 面 的 算法 是 Han (1977) 提出 的 逐步 二 次 规划 二 次 规划 方 
法 : 

算法 12.2.2 
步 1 Bu r €R",¢>0,6 >0, 8B) CR" e21, k= 1; 
#2 求解 (12.2.1)—-(12.2.3) 2h de; 如 果 lidel < ¢ WS; 
R ax € [0,6] 司 得 


Pire tardo) min P(r, + odio) + Ex (12.2.14) 
igagé 
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F3 repi = fe + Onde: 计算 Beat: 
bis k +1: 转 步 2. 9 
在 (12.2.14) P, Tete Pire) 是 L MMT. zx 是 一 

+: AFB 


$ ex < +00. {12.2,15) 
k=l f 


算法 12.2.2 的 全 局 收效 性 结果 如 下 . 
定理 12.2.3 ”假定 Na) 和 clz) 连续 可 微 , 存在 常数 mm M > 
0 使 得 


mllal: < a Bd < Mall’ (12.2.16) 


对 一 切 太 和 de R” HRI, WMR Arlo So 对 一 切 天 均 成 立 ， 则 
算法 1222 产生 的 点 列 {zk} 之 性 何 聚 点 都 是 问题 (8.1.1) 一 (8.1.3) 
的 K-T 点 .. 

证 明 RRM, WE TOM 2, BF 不 是 K-T 


jim 2 = (12.2.17) 
boa 
不 失 一 般 性 ， 可 假定 
lim Aa = À, dim By, = B. {12.2.18) 
ig re: Ee a 
如 果 
im del! = 0. | (12.2.19) 
WH 
gk + Bede = Ale lan, - (12.2.20) 
可 推出 | 
g(x) = A(E)A. (12.2.21} 


这 与 不 是 K-T AMP. 故我 们 可 假设 
ldel Fn > 0 Wk € Ko, (12.2.22) 
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其 中 是 一 常数 ， 利 用 于 式 和 (12.2.13} 可 知 


Play + ad, a) =A (12.2.23) 


œ=0 & 


对 一 切 k E Ko 都 成 立 ， 从 (12.2.23} Ff 2a Be ADE A EAR TR] 
FETE TERS BH, 使 得 


min, Pla, + ad, a) < Pler: a)—F (12.2.24) 


WA Ke Ko 都 成 立 ， 故 知 


P(tpi1,0) = Pirko) -Fte Whe Ko. {12.2.25) 
于 是 我 们 得 到 
das 》 [Pleo) — Pirn) J e 
keKo keke keKo 
< [P(r 0) ~ Pept1, 0 + > er. 


k=1 k=i (12.2.26) 
由 于 lim P(zx,c) = P(z,0), 我 们 可 推 得 | 


S F< Pleno) ~ P(e,2) + Sex < +00. (12.2.27) 
kEKo k=l 
HERM 7 > 0 知 Ko 是 一 有 限 集合 ， 这 与 假定 Ko 是 一 无 穷 子 列 
AP. UA AA SE m 
全 局 收 敏 性 要 求 - 
a > ||Aglloo (12.2.28) 


XU — i k BARA. 但 在 实际 计算 中 很 难 先 给 定 这 样 的 o. 如 果 o K 
小， 则 条 件 (12.2.28) 可 能 章 到 破坏 ， 如 果 = 过 大 则 会 使 搜索 步 长 
ar 变 得 很 小 将 影响 算法 的 收 伍 速 度 .。 Powell 提出 在 第 KER 
时 利用 如 下 精确 罚 函 数 


P(e,ok) = f(z) + Y lorii E), (12.2.29) 
i=] . ` 
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这 里 (ork > 0. 这 些 罚 系 数 可 用 下 面 方 法 产生 ， 


(ji = Ah 一 1 (12.2.30) 
aadi = mar lakh glo) HO) = Reo b> a, 
这 样 定义 的 ok 显然 满足 

(ox): 2 Akh] := 12) ym. (12.2.32) 


由 于 (or) 是 随 天 变化 , 故 定 理 12.2.3 REAR. Chamberlain 
(1979) 举例 说 明 Powell 的 钻 正 罚 因 子 技巧 可 能 导致 死 循环 . 

关于 算法 12.2.2 中 Bt 的 计算 , 一 般 是 用 氢 牛 顿 收 正 公式 逐 
步 选 代 产生 , 从 12.1 节 中 的 讨论 可 知 , 我 们 希望 Bry 是 Lagrange 
函数 之 海 色 阵 的 近似 ， 我 们 可 取 


k = Th41 一 Ëk, (12.2.33) 


ue = V f (tear) — VF (ae) ~ Sorc): LVei(ees) — Veler). 
i=l (12.2.34) 


然后 利用 拟 牛 顿 公式 计算 Bess. 与 无 约束 优化 本 质 不 一 样 的 是 ， 
对 于 价值 函数 进行 线 搜索 并 不 能 保证 


SUE > 0, (12.2.35) 


从 而 不 能 直接 利用 BFGS 方法 ， Powell (1978) 建议 取 


Yk, WRT yx = 0.2387 Brag, 
Yk = (12.2.36) 
Gyn + (1 — r)Bksk, AA. 
其 中 
T 
a Base (12.2.37) 


st Bask — si Yr 
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这 种 选取 pe 的 基本 思想 是 利用 y 和 Besk MOA AW 
可 以 用 来 修正 矩阵 的 向 量 ， 由 于 Bs, 可 理解 为 yi 的 一 种 近似 个 
计 ， 且 满足 :因为 Be 平定 | 


sf (Beez) > 0. {12.2.38} 


故 利用 y 和 Bese 的 西 组 合 是 一 种 很 自然 的 选择 Powell 的 公 
式 (12.2.36) 一 (12.2.37) 在 几何 上 可 理解 为 : 设 Bas, 在 sk 方向 上 
的 投影 长 度 为 1, 修正 公式 (12.2.36)—(12.2.37) 实际 上 就 是 要 求 fe 
是 在 ys 和 Bis, 的 连 线 上 使 其 尽 可 能 靠近 y HE sx 方向 上 投影 
的 长 度 至 少 为 0.2, 这 可 由 图 12.2.1 表明 . 


Sr 


W. 12.2.1 


得 到 修正 方向 后 ， 我 们 可 用 BFGS 方法 计算 Bras: 


,THT ogo? 
Br 84.87, By q BRU: 


Bri. = Bk — a rr {12.2.39} 
另 一 种 修正 yx 的 方法 是 取 
Gn = ye + 2p Y 一 cifztJwcei(zn (12.2.40) 
i=l ` 
RE y. 由 于 
Ör © [V E( xy, Ax) + 2pA(te) Aler) |x, (12.2.41) 
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新 以 可 理解 为 利用 办 来 使 得 Be 近似 增 广 Lagrange ph Be AY 
Hesse 阵 ， 这 一 进取 的 优点 是 


sen > 0 ; (12.2,42) 


通常 可 以 得 到 满足 - 如 果 ak Da < 0, 可 利用 增 大 p 来 使 (12.2.42) 成 
XE. 一般 说 来 ， 在 解 处 增 广 Lagrange KAri) Hesse 阵 是 正定 的 ， 
FATE ERE By, 近似 它 是 比较 合理 ， 


812.3 SQP 步 的 超 线 性 收敛 性 


为 了 证 明 逐 步 二 次 规划 方法 的 超 线 注 收复 性 


[Es | 


i = 12.3, 
fim. [rk ~— 2*|| % (12.3.1) 
只 需 证 明 算 法 产生 的 搜索 方向 dx 满足 
lim lzeta g (12.3.2) 


k>a |era” 


以 及 算法 在 (12.3.2) RP aT RFRA EAR k ax = 
1. 所 以 算法 超 线 性 收 人 证 的 关键 在 于 它 所 给 出 的 搜索 方向 dy 满足 
(12.3.2), 我 们 称 满足 于 (12.3.2) 的 de WRK BE. EPRI] 
讨论 逐步 二 次 规划 法 的 搜索 方向 是 超 线性 收 敏 步 的 等 价 条 件 ， 

在 本 节 ， 我 们 作 如 下 假设 . 

假设 12.3.1 

1) 了 (x),cilz) 都 是 二 次 连续 可 微 ; 

2) 由 算法 产生 的 点 列 zk 一 rt; 

3} a* Æ K-T H 


Vela"), i€ HUF x*) (12.3.3) 


-REER WHR 4(z*) 是 由 (12.3.3) 组 成 的 mx |E U Tae”) E 


A(z")? d=0 {12.3.4} 
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的 非 零 向 量 了 2 都 有 
d° Wir, A jd £0 (12.3.5) 
其 中 Wz", à") 由 【12.1.8) 定义 ， 入 是 在 r” Ab Lagrange Æ 
F, 
上 上述 假定 是 约束 忧 化 超 线 性 收敛 分 析 时 常用 的 , 显然 , 在 一 阶 
充分 性 假定 : 


d’Wia",M)d>0, Vd #0, rz (12.3.6) 


时 ， (12.3.4) 45 (12.3.5) 成 立 . 

我 们 还 假定 算法 在 收敛 时 ， 能 自动 判断 在 解 处 的 积极 集合 
Eu T(x*), MW k 充分 大 时 ， 搜 索 方 向 de 实际 上 就 是 -个 等 
式 约束 的 二 次 规划 的 解 . 

假定 12.3.2 ”在 上 充分 大 时 ， de 是 问题 


o r ly ; 
min gëd+ 5a! Byd (12.3.7) 
s.t. cw) + d? Vela.) = 0, ie EUI") 
(12.3.8) 
的 解 . 
EBE 12.3.2 成 立时 ， 存 在 A, c REY 使 得 
9 + Buds = A(TH)AR, (12.3.9) 
A(z)" dy = 一 zh， (12.3.10) 


其 中 ĉir) 由 cle) e BU I(x*)) 组 成 . 
定理 12.3.3 HRE 12.31 AS 12.3.2 成 立 ， 则 d, 是 一 

MRE as, Bl = 
EE | 


=0 12.3. 
此 一 ao re 一 z+|| ( 3 11) 


等 价 于 
in BeBe Wie, Adal 


0. 12.3.12 
wn, Ide (12.3.12) 
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其 中 Py ÆA R” 到 A(z.) 零 空 间 上 的 投影 算 子 ， 即 有 
Py = (F — A(T AlE) AE Alea)” )- (12.3.13) 
证 明 ”由 (12.3.9) 和 WEL, RNA 
Py, Buds = —Prge = —PelY f(T) — A(TK)A] 


= -PW {x*, X Xar — 2") + Oz 一 x" {|?). 
(12.3.14) 


所 以 
P,( By — W(a", \)}de = — PhW (a*, A" )zs + de — 2") 
+ Oljer — z"). (12.3.15) 
利用 (12.3.10) 和 
Elzxk) = Tr) — 2") 


= Afer) (ee — 2°) + Ora ~ ei) 
(12.3.16) 


我 们 有 
ALAY (£k + dy ~ 2*) = OC |lzx — z* ||’). (12.3.17) 
将 (12.3.15) 和 (12.3.17) 写成 矩阵 形式 : 


e — P,( By 一 meamna] 


A(T)” | 人 0 


+ Olen — 2°H1?). 
(12.3.18) 


EAER 


中 


(12.3.19) 


PW (a",X") 
A(T 7 
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其 中 P, = I AAG Y AY A(e*)?. SURE d E R” 如 
E G*d = 0 MJE 


_ Ata")*d = 0, (12.3.20) 
dT PW(2",A*\d = 0. (12.38.21) 

SA (12.3.20) Bi Pad=d, Aig 
d? W(a",d*)d = 0. (12.3.22) 


由 假定 12.3.1 Sd = 0. 所 以 矩阵 G 是 一 FUE HA zx 一 
z* 和 (12.3.18) 知 (12.3.11) 等 价 于 


Pk (Be — Wa" Adel _ 


Jim ea (12.3.23) 
利用 (12.3.23) 等 价 于 (12.3.11), 以 及 {12.3.11) 等 价 于 
Jim Jas — wl /ldsl = 1: (12.3.24) 
我 们 可 证 (12.3.23) 等 价 于 (12.3.12). 所 以 定理 为 真品 
利用 (12.3.9) 和 关系 武 Ax > a", 我 们 有 
W(a", Mr)d = W(2", Ande + ollldsll) 
= Vf (ae + di) — Alte + dr)A 
~ VF (te) + AGE) An 二 et 
. (12.3.25) 


于 是 
"Pe(Be — Wee", A") ds = — Ph[V f (ae + dr) — Alar + di) Az] 
+ af jd). (12.3.26) 


从 上 式 和 定理 12.3.3 得 到 下 面 结果 . 
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推论 12.3.4 ”在 定理 12.3.3 的 假定 下 ， (12.3.11) 等 价 于 


tim | PelV Fher +de) — Alte + te) ral _ 


0. (12.3.27) 
koo llaxdl 


从 定理 12.3.3 可 知 ， 为 了 使 逐步 二 次 规划 超 线性 收 僵 ， 我 们 
应 选取 By 使 其 满足 (12.3.12), 也 就 是 说 Bi 应 是 W(z*, A") 的 好 
的 近似 


$ 12.4 Marotos 效应 


对 于 无 约束 优化 问题 ， 如 果 rt 是 一 稳定 点 且 二 阶 充分 性 条 件 
Vv? f(z") 正定 (12.4.1) 


成 立 ， 则 只 要 zk 一 r, dy HRERS WUE AL FEST A N 

e at i ' . 
Flan + dr) < flee). (12.4.2) 

从 而 可 知 ， 在 无 约束 情形 ， 超 线性 收 敏 步 都 是 可 以 接受 的 . 但 这 一 


点 许 约 东 优 化 时 却 不 成 立 ， 此 现象 是 Marotos(1978) 最 先 指出 的 ， 
因而 称 为 Marotos 效应 . 


EEGA RAE 
eee f(a) = 30? — 2u, (12.4.3) 
s.t. efx) = u-v? = 0. (12.4.4) 


不 难 验证 z* = (0,0) 是 唯一 的 极 小 点 且 假 设 12.3.1 中 的 3) 满 
E ERE Eat 处 民 阶 充分 条 件 满足 ， 考 虞 枉 何 靠近 解 的 点 
(e > 0 充分 小 ) 

z(e) = [uleh vle) T = (<2, a)? oe, (124:5) 
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R B= W(t, A) 则 二 次 规划 子 问 题 为 


ARM, {12.4.6) 一 (12.4.7) 之 解 为 
[| 
d(e) = ` 


lz(e) + de} ~ 2*|| = O(||#{e) — z* 1l’). 


所 以 我 们 有 


Bik, dc) 是 一 直线 性 收敛 步 ， 直接 计算 还 表明 : 


jz(e) + d{e)) = 2, 
el 五 (e) + Ke) = ~e?, 
由 于 
Hele} = eè, 
e(@(e)) =0, 
所 以 
f(#e) + d(e)) > F(a(e)), 
le(#(e) + dfe} > le(#(e))|. 


(12.4.6) 


(12.4.7) 


(12.4.8) 


(12.4.9) 


(12.4.10) 


(12.4.11) 


(12.4.12) 


(12.4.13) 


(12.4.14) 


(12.4.15) 


EREK REF d(e) RRt (BI 2(e)+ (le) E z(e) 远 远 
AF c*), 但 无 论 是 从 上 生 标 函数 信 还 是 从 约 惠 阔 数 的 违反 度 来 看 ， 
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zle) + de) 都 比 ae)”. 事实 上 ， 对 任何 具有 (10.6.2) 形式 的 罚 
函数 Prale) 都 有 


Py alēle) + d(e)) > Po n(&(e))- (12.4.16) 


特别 地 ， 如 果 Li 罚 函 数 是 价值 函数 ， 则 cle) + dle) 不 能 被 接 
受 . 

Marotos MMR UPA ST BR. 超 线 性 收 敏 步 并 不 一 定 
能 被 接受 ， 从 而 可 能 厂 坏 算法 的 站 伍 性 . 

克服 Marotos 效应 的 方法 主要 有 三 种 ， 第 一 是 放松 接受 试探 
BARE. 粗略 地 说 ， 既 然 试 探 步 d% BMRA, RAR 
当 在 保证 收 伍 的 前 提 下 尽 可 能 好 接受 cg = 1 的 步 长 因子 . 第 二 是 
引进 二 阶 校正 步 dy 的 技巧 ， 其 中 de 满足 |ldel| = Olde’), BA 
P (ax + de tdk) < Pylon). HE de +d, 仍 是 一 超 钱 性 收 伍 步 ， 且 
它 可 被 接受 .第 三 是 在 算法 中 用 光滑 粮 确 罚 函数 作为 价值 函数 . 
如 果 罚 函数 P(r) BARH, MRE (12.3.11) 成 立 就 有 


Poler FT dn) < Parlzn). (12.4.17) 


我 们 将 在 下 几 节 对 这 几 种 克服 Marotos 北 应 的 技巧 加 以 介绍 . 
§12.5 Watchdog 技术 


Marotos 效应 的 本 质 是 由 于 
P(rk +da) > Po (xe), (12.5.1) 


使 得 reyi Foe + de, 因而 破坏 超 线性 收 敏 性 ， 在 Chamberlain 等 
人 (1982) 握 出 的 Watchdog 技术 中 ， 在 一 些 选 代 进 行 标准 型 线 捷 
R PER 

Polri) < Polk) (12.5.2) 
TEREA EST “RS ARE”. A Ek Lagrange 
函数 值 下 降 ， 或 可 简单 地 取 ax = 1. 如果 在 一 次 选 代 求 得 的 新 点 


+ S41 ， 


与 原先 选 代 过 程 中 最 好 的 点 相 比 Pole) 有 了 “足够 的 ”下 降 ， 就 可 
让 下 一 次 迭代 中 的 线 搜索 为 “ 松 驰 搜索 ” 
定义 函数 


P(x) sre) + Yoo lc:{e)| + 人 oil min[0, ci(z))|, 
i=m,+1 (12.5.3) 


FAP (a) flan) + (E eVe) + Me en Bale on) 


Mie 
+ doilc(wn) + (2 ~ ax)? Vele) 


i=l 


+ > Gil min[O, ciwe) + (z — tr)" Veee)]]l. 
=mi ti (12.5.4) 


Kick RBA kE “Be” WA, B 


P, (a) = min P,(2,). (12.5.5) 
设 Ae (0,5) 是 一 给 定 的 常数 ， 如 果 在 第 上 次 迭代 得 到 的 ren = 
e+ Ody, 满足 


Poze) & Polri) — ALP, (21) - Po (trai), — (12.5.6} 


则 称 cag 与 xy 相 比 Po (2) AT “足够 的 ” FE, BERA Polt) 
是 比 Pola) EBB AS”. 

下 面 给 出 的 是 Watchdog 方法 . 

算法 12.5.1 (Watchdog 法 ) 

步 1 Sith ri ER”, 给 出 正 整 数 a, 令 线 搜索 类 型 为 标 

WE: 下 :二 1:= 1; 

步 2 计算 搜索 方向 do 利用 所 定义 的 线 搜 索 类 型 进行 线 搜 

索 得 到 a, > 0 + Bey = Tk + ads; 

步 3 ROK (12.5.6) AL, WF — ee ee ae 
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索 ， 否 则 为 标准 搜索 . 
步 4 如 果 Poles) S Pola), Ml kl; 
3B 5 MR k<l+ KH, 则 转 步 6; Tkl = ale ktl, 
步 6 WEARER W kis k+l 转 步 2. c 
事实 上 ， 如 果 “ 检 驰 搜索 ”和 “标准 搜索 ”都 一 样 的 话 ， 上 面 
给 出 的 算法 实际 上 就 是 基于 标准 钱 搜 索 的 方法 . 所 以 Watchdog 技 
术 不 过 就 是 原来 优化 方法 的 推广 . 


设 标准 线 搜索 要 求 
Pe (wir) $ Poa) ~ [Ps (ax) — P (any). (12.5.7) 

由 算法 的 构造 可 知 ， 一 年 存在 大 <1+n4 1 使 得 
Pler) < Poles) — BPs(e) = PO (ena) 12.8.8) 


ARSE. MAN Watchdog 方法 虽然 不 使 P(x) 单调 下 降 ， 但 保证 每 
元 十 1 次 选 代 中 必 使 价值 函数 已 (z) REPRE. 令 Ij) 是 第 了 个 1 
的 值 ， 从 上面 揭 讨论 我 们 有 


iG) <I +1) <i) + at2. (12.5.9). 


如 果 假 定点 列 {ox} GH, W Pi (ty) 不 趋 于 负 无 穷 , 于 是 从 不 等 
= 


Po (2uj4i)) & Poleni) — B[Po (2x3) — PEO eng) (12.5.10) 
可 推 得 
So [Pe (zi)) — PEO erg] < +00. (12.5.11) 
j=l 
利用 上 式 就 可 证 明 e) BER ARARE eB) KT 点 . 
312.6 ”二 阶 校正 步 
二 由 校正 步 是 指 满足 于 
上 esi = U(x?) (12.6.1) 
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H ; 
Polte + dy + dy) < Pele) (12.6.2) 


成 立 的 修正 步 dy. 我 们 考虑 d 是 下 面 二 次 规划 之 解 ， 


i 
in gi -fdp +d)" Bi (de +4), 
main gk (de +d) + 5 (de +d) kldx +d) 


(12.6.3) 

s.t. cizre + dy) + ai (xx) d =0, iS E, 
(12.6.4) 

c(t, +d.) + aleryd 20, iel 
12.6.5) 


这 里 de 是 (12.2.1) —(12.2.3) ROAR. 

”为 了 简单 起 见 , 我 们 考虑 所 有 的 约束 都 是 等 式 约束 . 假定 二 阶 
FARE r WEA mk > ot. 由 K-T 条 件 知 存在 A E Rm 和 
A, ER™ i 


Budy = —gr + Alan) An, (12.6.6) 
A(an)? dy = —e(a,). (12.6.7) 
和 
Bedi + Brdy = -gr + A(re) dx, (12.6.8) 
Alx) dy = -elak + dy). (12.6.9) 


利用 (12.6.6) 和 (12.6.8) 知 


Py Brdu = 0, (12.6.10) 
其 中 Pe 由 (12.3.13) 定义 ， 我 们 作 如 下 假定 : 
假定 12.6.1 
1) zk 2"; 


2) 在 zw* 处 A(z") 列 满 秩 : 
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3) 存在 正常 数 m, M 使 得 


d? Brd > mlali 


(12.6.11) 


tHe WE Alza) d = 0 的 4 都 成 立 以 及 Bk| < M Wt k A 


ALA? 
在 上 面 假定 下 ， 我 们 有 如 下 结果 . 


引 理 12.6.2 BRE 12.6.1 HER, AEH 使 


P,B; 
x} 4 2 mld 
A(zx) 2 


对 一 切 & oR" H-HMRAAW k 都 成 立 . 
证 明 设 A(z.) 的 QR 分 解 为 
Ry 
ol 


由 于 A(x*) 非 奇 异 ， 故 存在 ko WI k > ko 


A(x) = [Yk Zs] 


| 如 lle < Ĥ, 


EF >o ERA TEH ko 加 时 ， 


1 
A(x) dlla = REY 2 dlle > z YK dite. 


利用 YAY + ZZE = 了 RNA 


\|PeBrdlle = || ZZ Brdlis 


(12.6.12) 


(12.6.13) 


(12.6.14) 


(12.6.15) 


= || Zk ZE BeYEYR d + Zk Zi B, Zk ZĘ lla 


> Ze Z7 Be Zi. Zi lla — liBrllzllYR alle 


> ml Zg dliz — M|¥dll2. 


(12.6.16) 
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于 是 当 


WY Fal 2 过 | 2 a (12.6.17} 
时 ， 用 (12.6.15) TEG 


: 1 
Alen) allo 2 z Pe dlle 


Th ; . 
> 一 六 al 
m 12.6.18) 
mil a) 
如 果 (12.6.17) 不 成 立 ， 则 从 (12.6.16) 可 知 
Loony 、 M on 
| Pk Brda 2 grlt dll 2 一 一 di (12.6.19) 
. 2 PAT 2 
t -I 
mi 


于 是 当天 3 ko 时 ， (12.6.18) 和 (12.6.19) 两 者 必 有 一 个 成 立 ， 令 


= min {> MTS (12.6.20) 
NUS (12.6.12) SAP AAD k > ko META HY d ER” 都 成 立 ， C 
利用 (12.6.9)-(12.6.10), 我 们 有 
P, By 0 
= O(anll2). .6.21 
A(z, T H + dk) (|| PIES (12.6.21) 


所 以 ， 从 上 面 关系 式 和 引 理 12.6.1 可 得 到 以 下 引 理 . 
定理 12.6.3 ”在 假定 12.6.2 的 条 件 下 ， 必 存在 正常 数 开 > 
使 得 
dels < dels. (12.5.22) 
于 是 ， 我 们 证 明了 由 (12.6.3) 一 (12.6.5) 定义 的 修正 步 的 确 是 
二 阶 步 . 


下 面 我 们 证 明 二 阶 校正 步 di 一 定 会 使 得 dy + de 可 接受 ， 首 
先 利 用 (12.6.9) 即 知 


elap + dy + dg) = clay + dr} + Alay)? dy + of||de!|) 


= of|ldx lf?) = oller — 2*||?). 
(12.6.23) 


定义 向 量 
de = —(A(tg)" Y} eler + dy) — Peltre + dy — 2"), (12.6.24) 
则 知 
les + die + dy — r= (E ~ Petr + di ~ 2*) 
| = (Alek) y olay + dy)| 
= |F — Pre + de — &*) 
— (A(x) ) t A(en)? (Ek + dr — 2")/! 


+ o(fiza — 21?) = oflzx ~ s*a, 


(12.6.25) 
而 且 ， 从 (12.6.24) BJ% 
4(zp)jTG = 一 c(zk + dy). (12.6.26) 
如 果 我 们 不 仅 假 定 (12.3.12) wr., AE 
[Be = Wear, Nal ,os (12.6.27) 


| 
对 4 二 由 十 dp;d 二 dk 十 HRY, WA 


wry l 
(gx — AKA) d + gt Brd = Lia, +d, A*) — Lrp, A") 
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+ o(d?) + ows — 2*1’) 


= L(x, +d, A") — E(x, d*) + of (lee — 2° |?) 
(12.6.28) 


Xİ d= de + dr H d= dy + de 都 成 立 . Ad, 的 定义 ， 我 们 有 l 


1 _ ` 
gide + 3 (te + dy)? Belde ~ de) 


_ 4 E _ 
<gi de + (de + dey Beldy + dy). 
2 (12.6.29) 


从 (12.6.28)—(12.6.29) TAI 
L(ay + dy + dy,d") < L(g = dr + de, d*) + ofita — 2* ||?) 
< L(e*,*) + ofer — 2*|]?). 
利用 上 式 和 (12.6.23) 即 知 
f(x td, + åk) < f(x") + ofliz, 一 六 上 2)， (12.6.30) 
从 (12.6.23) 和 (12.6.30) 我 们 有 
Polar + dy + de) < Pp(2*) + of fa, — £* H°). (12.6.31) 
在 二 阶 充 分 性 想 定 下 ， 一 定 存 在 正常 数 5>0 使 得 
Polk) > P(r) + blek — 2*||?. (12.6.32) 
于 是 ， 从 上 面 两 个 不 等 式 即 知 对 所 有 充分 大 的 上 ,都 有 
P, (a, + dy + dy) < P (ex). (12.6.33) 
事实 上 ， 利 用 (12.6.31) 一 (12.6.32) 我 们 可 证 


. Polae) — Pylzk + dy + dy) 
l 一 一 一 一 一 一 一 -一 1. 12.6.34 
A Pe- Plz) (12.6.34) 
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利用 (12.6.22) 和 (12.6.33), 我 们 知 
tx + dr + dy — xl -o 


im i e] (12.6.35) 
E di +de 2 MRO, AE ee T eE. 
另 一 种 计算 二 阶 校正 步 的 方法 是 求解 子 问 题 
min 项 dd 十 nd? Bed, (12.6.36) 
st. ci(te) + alr) d= 0, ic EZ, 
` {12.6.37} 
ulz) +alle da0, icl, 
(12.6.38) 
其 中 
Ge = gk + ; Sk) Vei(ae) 一 Voi lay + dy}, (12.6.39) 


i=l 


àr 是 二 次 规划 {12.2.1} 一 (12.2.3) 的 Lagrange HF. WLME 
(12.6.36)—{12.6.38) 所 定义 的 搜索 方向 也 是 一 超 线性 收 敏 步 而 且 
可 被 接受 . 详细 的 讨论 可 参阅 Mayne 和 了 Polak(1982) 以 及 Fukushima 
(1986). 


§12.7 ”光滑 价值 函数 
Marotos 效应 之 所 以 出 现 是 由 于 用 来 判别 近代 点 好 坏 的 价值 


函数 是 非 光滑 ， 如 果 P(r) 是 一 光滑 函数 ， 它 在 r* 处 达到 最 小 ， 
且 V2P(z) 正定 ， 则 对 充分 侍 近 于 x* 的 xz, 有 


Mijx — "|? > Piz) ~ P(x*) 2 mile ~ 27}, (12.7.2) 
其 中 M>m 是 两 个 正常 数 ， 于 是 ， 只 
I dk — x* 
leria — 0, (12.7.2) 
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P(zg + de) < P(e") + Mijn + dr ~ e"l? 


< P{z*) + milan — z"? < Plex) 
(12.7.3) 


对 充分 大 的 k RY. 所 以 ， fA He HARARON 
避免 Marotos Why. 


考虑 等 式 约束 问题 
min f(x), (12.7.4) 
at. cz) = 0, (12.7.5) 


我 们 用 Fletcher JEA 48941] HA (10.5.4) fA Tee. AR 
数 (10.5.4) 的 导数 需要 计算 f(z) 和 ela) 的 二 阶 导数 ， Powell 和 
Yuan (1986) 利用 (10.5.4) 的 一 个 逼近 形式 


Px (Oni) =F (Tk + Pe adn} 
— [Alae} + a(M ee +. Bridie) — A(x) )]7 eler + afk ity) 


1 
+ a Fellelre +aGiide lz, Of a <1. 
(12.7.6) 


其 中 gd 是 二 次 规划 (32.2.1) 一 [12.2.3) ZAR, ri HE OER 
中 的 第 i 十 1 个 试探 步 ， cox,i 是 当前 的 罚 因 子 ， 间 满足 


) Eag 
B,D) < — [di Beds + ox, i\|e(@x)|I3] 


< —4ewalle(ae de. (52.7.7) 


于 是 我 们 可 给 出 Powell 和 Yuan 的 方法 如 下 : 
算法 12.7.1 
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步 1 给 出 x ER", A € (0,2), G2 € (i, 1), 4 € (0,1/2), 
di -1 > 0, Bp eR" £ Oo. k=]; 

步 2 解 (42.2.1)--(12.2.3), 给 出 des 如 果 al <e WB, 令 
$i=0, o= l; 

步 3 选取 ori E (12.7.7) 成 立 : 如 果 


@, i(8x,0) < Deall) + ne Pkl) (12.7.8) 


MUS 4, iis i +1, Bee € [Orn Jalki 转 步 3; 
步 4 Zepi = Tk + ridh; Cheri = Okai 计算 Beyi 
k:=k+i; $P D 
引 理 12.7.2 i {rc}. {dr} {Be} AA, Alz) = Vela)? HW 
一 切 zx eR’ 均 为 列 满 秩 以 及 存在 常数 6 > 0, 使 得 对 一 切 久 都 有 


d? Bad > ólja], vA(re) Td = 0. (12.7.9) 
则 存在 K 使 得 对 一 切 关 > k 都 有 
Chi = On p= > O, (12.7.10) 
i? A 
jim lld:ll = 0. (12.7.11) 

利用 这 一 引 理 就 可 证 明 算法 12.7.1 WE a ES E 

定理 12.7.3 在 引 理 12.7.2 的 条 件 下 ， 算 法 12.7.1 产生 的 点 
列 {on} HEAR ARM (12.7.4)-(12.7.5) 的 K-T 点 . 

Ril FEE AERE, 任何 超 线性 收敛 步 都 能 被 算法 12.7.1 
所 接受 . 

. 引 理 12.7.4 25) 12.7.2 的 条 御 满 足 ， 算 法 9.3.4 产生 的 
点 列 {zk} KAF et. 设 任 一 子 列 {kri = 1,2,---} 24 ky 00 Bt 
有 

iva, + de, — 27] = oljer, 一 天 tl), {12.7.12} 
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则 对 所 有 充分 大 的 i, 有 有 
Lk, 4) = Zk; + dki- (12.7.13} 


证 明 “不 失 一 般 性 ， 我 们 可 假定 所 有 的 A a. 为 了 记号 简 
GER, RNAS RPA REREAD, RE 


ji0(1) — ;0(0) — p80(0) < 0. (12.7.14) 
由 (12.7.10) 知 
© 0(1) = F(z; + dj) — May + dj) ele; 十 而) 十 35lie(z + dj)/\3. 
(12.7.15) 
利用 f(c) 的 二 次 连续 可 微 性 ， 我 们 有 


Has + dj) = Flas) + $e las + olay + di)] + olid; 


= Fay) + 5a? lag + (2")] + ollas). 
(12.7.16) 


同样 ， 对 clay t+ dj) 也 有 类 似 (12.7.16) 的 表达 式 . 将 这 些 家 达 式 
代入 (12.7.15) 中 得 到 


@5,0(1) — ®;,0(0) = Leg + g(a*)] — A(z; + dp)” 
- [es + TATA; + 5 Ale")? di] 
~ [= Xo + alesii] + oiai) 
= 50, o(0) + 3dF lg(a") — A(z" JACE; + d;)] 
+ o(d) = 3 ,0(0) + (lid; 12). 


(12.7.17) 
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不 难 证 明 存 在 正常 数 帮 > 0, 使 得 对 一 切 和 i 都 有 


Dh (0) < —Ailde ltd. (12.7.18) 


利用 (12.7.17), (12.718) 以 及 u < 5 即 知 ， 对 充分 大 的 J = ki 
(12.7.14) 成 立 ， 所 以 引 理 为 真 . = 
从 引 理 12.7.4 可 直接 推出 以 下 定理 . 
定理 12.7.5 设 引 理 12.7.2 的 条 件 满足 ， 算 法 127.1 产生 的 
AACR xz*, 如 果 


=0, (12.7.19) 


则 对 充分 大 的 亡者 有 E41 = ap + dy. 于 是 点 列 {on} BATERA 
于 x*. 


$512.8 E24 Hesse 阵 方法 


既 约 Hesse 阵 方法 是 处 Lagrange Newton 法 发 展 出 来 的 方法 ， 
它 的 基本 思想 只 利用 Lagrange pati) Hesse 阵 的 部 分 信息 ， 从 而 
算法 在 每 次 选 代 计 算 量 小 而 且 算 法 所 需 内存 也 小 . 

考虑 等 式 约 东 优化 问题 (12.1.1) 和 (12.1.2), 30 Lagrange-Newton 
法 的 试探 步 为 (di, (5 和 8), 则 由 (42.1.6) 可 知 


freee) | [|= | 
| -= 


一 和 (到 be] 了 了 A) 5A). —c(z,) 
2.8.1) 
利用 记号 
Wi = W (Er, Ar), (12.8.2) 
Ay = Alay) = Velox)", (12.8.3) 
gk = Vi{ex), {12.8.4} 
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Ck = (rE), (12.8.5) 
Me 一 Ak 十 (EAk (12.8.6) 


我 们 可 将 (12.8.1) 等 价 地 写成 如 下 形式 


| We Ar N = Pi . (12.8.7) 


-AF D Me 
设 Ay 的 QR 分 解 有 如 下 形式 


R 
An = [Ye Ze] | ,| , (12.8.8) 


由 我 们 可 将 (12.8.7) 写成 等 价 形式 


YT WY YI WZ -Rk Pk FA 
ZE WY ZEW Ze D g| = -Zf gk 1, (12.8.9) 
—RP 0 a di .Cx 
其 中 
Pr = Yf dr, ` (12.8.10) 
gk = Zi dp- (12.8.11) 


BRE pe 和 gx 分 别 是 搜索 方向 dx 在 47 的 秩 空 间 和 AT HE 
空间 上 的 投影 . 由 于 线性 方程 组 (12.8.9) 的 分 块 三 角形 状 ， 我 们 很 
容易 依次 求解 px, Gey Av: 


RE pe = — cp, (12.8.12) 
(Ze Wh ZR) = -Zi gr — ZE WE ene. 

(12.8.13) 
Rade = Vi ge + YE Wh Vee + Zegn): 

(12.8.14) 
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如 果 把 {12.8.9) SOAR (DREF) 单独 考虑， 则 得 到 与 入 
无 英 的 线性 方程 组 : 


[ZFW.Y, ZF WZ A 
Z,WrYn 3, Wek Pej a (12.8.15) 
-Ri 0 Gi Uk 
这 实质 上 就 是 . 
ZEW zI 
BOR a | EF, (12.8.16) 
—AT Ck 


Nocedal 和 Overton (1985) RA WFE TEE Br RE 
ZIW. 即 每 次 迭代 的 线 搜索 方向 de 是 道 过 求解 线性 方程 组 


_zT 
Be je] fr “| (12.8.17) 


-AT Ck 


KEA. Be E RUX 是 ZIW 的 一 个 近似 , 我 们 可 用 Broyden 
非 对 称 秩 1 AAIE Br, 即 


(yx 一 Besk) 


Bri = Bet Fer ， {12.8.18) 

其 中 
Sk = k41 — Tk, (12.8.19) 
ue ZE agep — Zh ge. (12.8.20) 


由 于 ZEW, EYL Hesse 阵 ， 所 以 这 一 方法 也 称 为 单 边 既 约 
Hesse 阵 方法 ， 在 一 定 条 件 下 ， Nocedal 和 Overton(1985) 证 有 明了 
利用 收 正 公式 (12.8.19) 与 (12.8.20) ARIE RELY Hesse 阵 方法 是 局 
部 超 线 性 收敛 的 - 

WERA DIIRE B, < ROm 代替 ZEW Ze 
FESS REE ZZWhYi, 则 从 (12.8.15) 式 得 到 


0 B -z7 
ey [PRY = :| (12.8.21) 
-RI 0 dk Ck 
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这 样 作 的 理由 是 : 首先 Powell (1978b) 在 研究 逐步 二 次 规划 方法 
的 超 线性 收敛 性 质 时 发 现 VW Zi AERE ARE ERE 
都 有 两 步 超 线 性 收 往 性 结果 
o lern — 2" || 

另 一 个 理由 是 当 所 有 的 选 代 点 都 是 可 行 点 时 ， 我 们 有 px = 0, 而 县 
Ze HI 并 不 影响 94 OH. 对 于 线性 约束 问题 ， 只 要 某 个 zk 是 
可 行 点 ， 则 所 有 的 reik > ko) 都 是 可 行 点 .还 有 由 于 ZEW GZx 是 
方 阵 , 在 二 阶 充分 条 件 的 假定 下 它 在 解 附近 是 正定 的 ， 所 以 我 们 可 
用 正定 矩阵 {如 BFGS # EAR) RE. B 


Birsksk Br 4 yy 


Biri = By — oT Buon? lye (12.8.23) 
其 中 
s} = Ze (2e41 — Ze); (12.8.24) 
Yk = Zi 19k+1 — ZE ge. (12.8.25) 
我 们 可 将 (12.8.21) 写成 等 价 形式 : 
ee | di = ae . (12.8.26) 


由 于 ZEW, Z, 是 双边 既 约 Hesse 阵 ， 所 以 这 一 方法 称 为 双边 既 约 
Hesse PK. 该 方法 在 解 的 附近 是 局 部 超 线性 收 敏 的 . 

定理 12.8.1 tte dk E (12.8.26) 定义 ， k41 = wk + dy, 
te 2", FE x" 处 二 阶 充 分 条 御 满足 ，4(z*) 列 满 秩 , 而 且 BO), 
一 致 有 界 并 满足 

lim [Bs — Ze")? W(a*, A") Z(e"* ZF dy || = 

ko0 IEAI 


O, (12.8.27) 
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则 必 有 二 步 超 线性 收 笋 


im [eens — 2" 
在 一 ex Wea 一 了 +|| 


(12.8.28) 


征明 由 (12.8.26) 有 
BiZi dy = -ZE gx = -ZA lge 一 Aer") 


= -ZT W(x", AJr — 2734+ Oflfz, — 2% j2) 
(12.8.29) 


所 EL, 
[Be ~ Z2(2") Wa" XO Z(2°)] ZE dk 
= ~ZE We", Mr ~ 2*) ~ Z(a*)7 We", A*)de 
+ Ozer ~ 2°\[?} + OHY CE") dell) + oC lea lh) 
= —ZFW(2",A*}(zq + dy — x") 


+ Of, — 27? + HY 2") ded) + oC dell). 
12.8.30) 


所 以 ， 在 (12.8.27) WARE. MEA OR 


ZEW (a*,M)\(ax+dy— 27) = o(|fen =r" || + ldel) + OMY (a) dell). 


(12.8.31) 
根据 dk 的 定义 
(十 下 一 了 一 站 人 ze — 2" ||*). (12.8.32} 
由 A) 的 列 满 秩 ， 我 们 有 
HY (e*)T dell = ollleteal) = oldlas :2 (12.8.33) 
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利用 {12.8.31) 和 (12.8 12) $H 


rT EA 
[7 Da | Coe + ad 2") = ofle = 2° l| + dal) +(e al). 
. (12.8.34) 
E E 的 一 致 有 界 ， 我 们 从 (12.8.26) 可 证 
EAE (12.8.35) 


(12.8.5) ÆW jes- e*l < ler- a*t da—al] = Clr- e) 
MATEM (12.8.34) 知 
gT "fr At 7 

| rD ! (ae t dy — z") = oller = w") (12.83.36) 
Ak o l 


与 (12.3.19) Xi ATE E 


7 TTA fat At 
z(e") Wet, "| (12.8.37) 
A(z")! 
非 奇 异 ， 于 是 从 (12.8.36) 可 得 到 
zy + dy — x" || = offjeg-1 ~ 27 il), {12.8.38) 


故 知 定理 为 真 . a 
Wi BEES Hesse BEER AY py ab AB Re PER Oy ae BES HE — oe 
Yuan (19850) H TAAT. ARH) Hesse 阵 法 收效 形 


la 1 一 Fa = TEET 一 - | sey (12.8.39) 
1 *II — *jjZ 
tarea — 2 Yoo = |z ~ E*l 

(12.8.40) 


AAR TRA RAY Hesse PERK ay fe HVE Ce” E 
A AI EP Q BAR. 一 个 类 做 的 例子 由 Byrd (1985) 
独立 地 握 出 ， 
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第 十 三 章 信赖 域 法 


§13.1 算法 的 基本 形式 


在 43.6 我 们 已 初步 介绍 了 解 无 约束 最 优化 的 信赖 域 方 法 ， 为 
了 下 面 讨论 的 方便 ,我 们 在 这 一 节 以 拟 牛 顿 型 方法 为 基础 ， 对 信赖 
域 方 法 作 进一步 的 讨论 . 

信赖 域 法 的 基本 忆 想 是 要 求 试探 步 de 在 信赖 域 之 内 ， 即 在 每 
次 迷 代 时 有 一 正 数 Ar 并 要 求 试探 步 dx 满足 


Idil] < Ax, (13.1.1) 


HH ||| 是 民 ” 中 的 某 一 范 数 ， 信赖 域 法 的 试探 步 de 在 某 种 意义 
下 《如 对 于 逼近 子 问题 ) 使 得 z% 十 dx 是 在 以 zx 为 中 心 的 广义 球 


{zr + | |d| < Ae} (13.1.2) 


上 “最 好 的 "点. HBP AR Te Ed BSR AB E t- 
zk 也 满足 
ears 一 zr 上 | < Ay, (13.1.3) 


信赖 域 法 不 进行 摸索 ， 而 是 令 trpi = Zh 十 dk 或 者 oe = ir. 

对 于 任何 类 型 的 优化 和 问题， 都 可 以 梅 造 信赖 域 法 . 它 的 形式 如 
F. 

算法 13.1.1 (信赖 域 法 模型 ) 

步 1 AEWRE zl € R”, Ay > 0, kis 1; 
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步 2 计算 一 个 满足 (13.1.1) 的 试探 步 dx; 
步 3 med, 满足 某 种 下 降 条 件 ， 则 


Thay = Tk T dg; . {13.1.4} 


否则 ， 
Lei = Ek. {13.1.5} 


步 4 以 某 种 方式 给 出 Art k= k+l 转 步 2. i 


在 信赖 域 法 中 ， 试 探 步 的 计算 一 般 是 在 信赖 域 {a| dl < Ay} 


上 求解 一 个 原 优 化 问题 的 逼近 问题 ， 常 称 为 子 问 题 . 例如 ， 碍 线 搜 
索 方法 中 ， 拟 牛顿 法 的 搜索 方向 de= -Br g TRA + 


min gpd+ 507 Bed (13.1.6) 
的 解 。 基 于 此 ， 对 于 无 约束 优化 问题 
min fiz) , (13.1.7) 


BY fea BR fe) ( 拟 牛 顿 型 ; 可 取 为 
min gi d+ 3d Byd = prld), (13.1.8) 
st. GE < Ag. (13.1.9) 

记 dy 是 (13.1.8), (13.1.9) 的 解 ， 则 
Pred; = pi (0) — pridy) (13.1.10) 


AAS GHD TER, AANA orld) = f(z,+¢4). BRK 
数 f(a) SSF eA 


Ared; = f(z.) — F(a, + dx). {13.1.11) 
真实 下 降 量 与 巴 估 干 降 量 的 比值 
rk = ae (13.1.12) 
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me “phi 


和 


对 cepi ABER Arpi 的 产生 起 关键 的 作用 . HERH. ra BR 
ARA HRK TERE, 新 的 点 etdi 也 就 越 好 ， 故 rry 可 取 
A ek tdr 而且 Ara 也 可 考虑 扩大 .否则 re Bh, AA re <0, 
这 时 f(g + de) > Fla), E ters 应 取 为 xy, Ager 也 应 小 于 Ar. 


的 ， 


MA 


下 面 的 求解 无 约束 优化 的 信赖 域 法 是 由 Powell (1975) 缩 出 


算法 13.1.2 

步 1 给 出 mn eR”, Be R, A, > Oe 20,8, >1> 
Bp >0.0< fy d fal kisl. 

H2 MWR lga) se WH: 求解 (13.1.8) 一 {13.1.9) 得 到 dj; 

步 3 计算 re 

令 


i zk +de, bor, > 0, 
Cea = (13.1.13) 


l Tk; | 如 果 7k <0. 
选取 Ans, 使 其 满足 
| [1, Bila!’, 如 果 Tk Z Ba, 
Arya € 
[bs 64d， ÆW 


步 4 产生 Bieri ki= k+l, 转 步 2. C 
为 了 分 析 算 法 13.1.2 的 收 伍 性 ， 我 们 先 给 出 一 些 引 理 . 
引 理 13.1.3 H de 是 (13.1.8)—(13.1.9) 的 解 ， | =l lla 


(13.1.14) 


Predk = px{O) ~ pridy) 


工 . . ， 
> gløa minjAs. tlgell2/1| Be lte]- 
(13.1.15) 


证 明 ”由 ds EY. RHE a 2 [0,1] 有 


BuO) = s(a > ex 0)~ px( = aa) 
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= de [igi la ~ poate; Bags! ge lis 


= vAg|laulle 一 ma Až] Bells 


(13.1.16) 
BRL. Hag. 
Pred, 2 wax wA Pgelig 一 1 Az Belo 
lk 2 Re | i 3" EIA 2 | 
l, ip eor : i 1 
> slgrlts min| As, |igel2/i|Belel, . 
(13.1.17) 


RAS] AE. it 
引 理 13.14 g(t) = Vile) 一 至 连续 ， 设 由 算法 13.1.2 
POH BY AAIE 
lgl 2> 0, (13.1.18) 


Hy i SHH. WHA d 使 得 


udel I D5 (Mr, k=1,2,--- {13.14.19} 


Bot, HP 
Mr = max | Bill +1. (13.1.20) 
1<igk 


证 明 WR dal < An. MH de 的 最 优 性 假定 可 知 


gr Bede =0. {13.1.21) 
于 是 | 
dzl] 2 ay = a> ha (13.1.22) 
从 而 我 们 知道 ， 愉 需 证 明 存 在 Gs > 0, 使 得 
> Be/ Mi. (13.1.23) 
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Wk AG ARI EB T. WME (13.1.23) RBS, MEETA {ta} 
使 得 
lim Ap, Mr, = 9. (13.1.24} 


由 于 Me i MERI A, 20. 由 于 Me HAREA G RAI 


可 假定 As, <An- 对 一 雪 i 都 威 立 ， 利 用 记号 i 二 名 一 1 则 从 
(13.1.24) 和 (13.1.14) 知 | 


jim = |k] M = 0. (13.1.25) 


比较 (13.1.22) 和 (13.1.25 BADE FEA i 我 们 有 


|ailt = Ag. {13.1.26) 
从 不 等 式 (13.1.15), (13.1.18) 和 (13.1.25) 知 ， 存 在 正常 数字 使 得 
Pred; 2 7||d;[l2. (13.1.27) 


利用 上 式 和 g(x) 的 一 致 连续 上 性， 我 们 有 
Ared; = f(zi) — f(a; +d) = 一 经 让 十 old 
= Pred; + o{|d3[|}. (13.1.28) 
JA (13.1.27}—(13.1.28) 可 知 


lim ry, = Areh _ 1 13.1.29 

tooo tii T Pred; ~ i ( ) 
MES ROAR, E 

Ax, 2 ldk ~1 || = Åk. {13.1.30} 


这 与 我 们 的 假定 An, < Ar FPE. FERH EAA. z= 

引 理 13.1.5 we {Ax} W {Mr} 是 任意 两 正 数列 ， 如 果 存 在 
ERM r> 0, B > 0, 84 € (0,1), 以 及 {1,2,3,…} 的 一 个 子 集 了 1 
使 得 


Brevi © Ar, Yke; (13.1.31) 
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Akti S fån WEES; 
Mrky 2 Mp, Vk: 


So /Ms < +00, 


kel 
则 必 有 o 
之 Mm < +o. 
证 明 取 p 是 一 满足 于 
Bopti 
的 正 整 数 ， 定 义 集 合 
Ie = 19 {1,3,---,B}, 
Wh 是 Te 中 元 素 的 个 数 ， 定 义 集 合 
了 := {klk < plal} 


OAR Mx 的 单调 性 以 及 上 述 定义 ， 我 们 有 


REJ 


F kg J, RING 


ef 


Hel < k/p, 


因而 
[Ze—1| < Hel < (k — 1}/p. 


TE. 


Ik- 严 一 1 一 | 下 一 
An < 8" al gh | Fie lA, 
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1 1 


(13.1.32) 
(13.1.33) 
(13.1.34) 


(13.1.35) 


(13.1.36) 


(13.1.37) 


(13.1.38) 


(13.1.39) 


(13.1.40) 


< (By GPT) P A, (13.1.41) 
MM ke J 都 成 立 ， 从 而 


1 am lp 
D gy DT aye 


kaJ TE kal 


_ A (13.1.42) 
rfl — (9, BR” FF] - 
这 样 ， 从 (13.1.40) 和 (13.1.42) BP aM (13.1.36), 成 立 . 口 


定理 13.1.6 g(x) = Yffz) 一 致 Lipschitz BS. WH 
(13.1.20) 定义 的 My 满足 . 


1 
Mi = +00, (13.1.43) 
则 算法 13.1.2 产生 的 点 列 {on} 必 满 足 flee} 一 一 00 或 者 

jim inf flgxl = 0. (13.1.44) 


证 明 ”如 果 定 理 不 对 ， 刚 {fier} 下 方 有 界 且 存在 正常 数 $ 
使 得 (13.1.19) 成 立 ， 定 义 集合 


I = {kirk > Bo}, -  (13.1.45) 


则 从 {Fize 的 下 方 有 异性 ， 引 理 13.1.3 和 引 理 13.1.4 40: 


too > S flex) ~ Fiera) Te - Herel] 


k=l ker 


> 》 Pred. > $ G26 min(A,, 6/Mgi 


ket kel 
>55 5926 min[Bs, 8]/ Me (13.1.46) 
ket 
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AJA ERAGI 13.1.5 EHEN 


xy 
caste ae ?1 
2 证 < 十 oc， (13.1.47) 
这 与 假定 (13.1.43) AF. PAW EAM. z 
信赖 域 法 的 一 个 优点 是 由 于 有 强制 性 条 件 


Nal E Ag, (13.1.48) 


fe) RS EHAR RE RER. 例如 , 子 问 题 [13.1.8), (13.1.9) 
中 ， 我 们 可 用 PSB 公式 来 修 正和 矩阵 By: 


(Ye — Brdy dp + delux — Bed)? 


Beni =By + 


dP dy 
d? {ye — Budy)dyd? ， 
aye (13.1.49) 
其 中 . 
yr = Vi (ex td) — VF (ae). (13.1.50) 


Powell (1975) 证 明了 由 (23.1.49)--(13.1.50) 产生 的 By SETE 


[EVË f(a") — Briel 
lidzil 


从 而 在 三 阶 充分 条 件 CVA fie") 正定 ) 下 证 明了 算法 13.1.2 {用 
(13.1.49}—(13.1.50) FE By) 的 超 线性 收敛 竹 ， 即 


+ 0, (13.1.51) 


=0, (13.1.52) 


Powell ROC HE 25 ESF RFE Bx 在 每 次 迭代 都 用 (13.1.49) 一 
(13.1.50) 修正 ， 因 而 在 
十 人 FE) (13.1.53) 
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时 ， pp, = ap Æ ry teddy ARANES E ph EP G pa BAe OT RE. 
pT ee ese Be RG A. Khalfan (1989) 建议 在 reor dy 是 不 能 
接受 对 ， 采 用 修正 公式 


3 i y r Dapo] 4t 
Besi = Ba = 2| Flaw + te) = Fier) = diye gik Betis pr Ja 
Ga D VERS 

(13.1.54) 


if ELGER T — BR HE A Re dP E ER EER APE 
BASE STP By AE GLEE dk WE hdi SAR Al 


pu (0) 一 prlde) 2 Sieetimin[As,, iliBrlll {13.1.55) 


RAIER ote. eg Ab 是 两 正常 数 . 所 以 ， 在 实际 计 
算 中 ,一般 并 不 精确 求解 问题 [13.1.8: 一 {13.1.9) 之 解 , 而 是 求 一 近 
亿 解 ， 只 要 它 满足 (13.1.55) 就 可 以 了 . 
对 于 子 问题 (13.1.8)--(13.1.9), 我 们 有 有 如 下 结果 : 
定理 13.1.7 P 是 子 问 题 
ming? d + 5a Be = pld), i13.1.56) 
st. fel 去 â 13.1.57) 


的 解 ， 当 用 人 色 当 存在 A > 0 使 得 


(B +A" Dd = 一 9 :13.1.58) 
ld“ < A, .13.1.59) 
AA — leks = 0, :13.1.60) 


fA. (B+ AT) $234 1E ERE. 

WERA i dt 是 于 问题 Q3.1.56)- 一 (13.1.57) 的 解 ， 由 最 优 性 
REIFERT A" > 0 使 得 (13.1.58)—(13.1.60) RE, REE 
明 (8 十 入 站 REFERER A jd < A, 则 和 X=0 且 qr 是 
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p(d) MRR), AR B 半 正 定 ， 因 而 (B+ As) BIER. Wm 
$ ea" =A. 则 由 二 阶 充分 性 条 件 知 


d(B+ Dd 20 (13.1.61) 


对 一 切 满 足 于 dd = 0 的 d 都 成 立 如 果 dd" £0, Lt = 
-247 d" /|al3, il fet ttd = A. 由 P 的 定义 ， 我 们 有 


old + td) + Ma + all} > Gd) + Nd (23.1.62) 
这 个 不 等 式 与 关系 式 (13.1.58) 表明 (BAI) > 0, BID A B+ 
Mid > 0 jH d Bae. Mii BMT BEEK. 


反之 , (RH dt 满足 (13.1.58)---(13.1.60) A (B +A) BRIER, 
QS EAE T lide <A Hd RNA 


1 1 
o(d) = od + 5a" (B+ Dd — ZA" adlg 


1 ; 
> gra + (P(B HNDE — aE 


= (d) + ZATA? — [Hdl] > di) 
£13.1.63) 


所 以 d* 是 问题 (13.1.56)—(13.1.57) 的 解 . 
如 果 吕 十 入 了 奇异 ， 这 时 我 们 称 是 “Hard case”. 此 时 ， d* 一 
定 有 如 下 形式 


器 


d = (B+ A*I) g +, (13.1.64) 


其 中 是 (BB 十 和 也 零 空 间 的 一 个 向 量 . 
假定 B+ MI ESE, Wj d* 可 通过 求解 


* ALA 一 {B 十 AP) glla] = D, (13.1.65) 
KB +AD gl gA, ASO (13.1.66) 
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GE A OB d = -BA Dog. WE B ERA |B 'gljz < 
A MJ dt = Bo! g. ARO At > 0. 我 们 只 需求 解 
1 1 


Y= Tepe ano 


(13.1.67) 


ER- DREA 直接 计 算 可 得 
g’ H(A "g 


wd) = HO)" (13.1.68) 
aif — 3gT H(A) $g 4—1 一 i 
P {A} = — IHO yji [1 — cos’ HH (A) 1g, HT OAJga- 


(13.1.69) 


其 中 H(A) = B+AL 所 以 对 任何 大 于 -B HRA -0n(B) 
AYA, OA) 是 严格 单调 上 升 且 是 四 的 . 我 们 可 以 利用 牛 赖 法 来 求解 
(13.1.67), BD, 


_,_ ¥(A) 
M4 = A= IQ) 
g( B+ 413g | i a 
(B+ AF) tgl} WCB + AD-iglse Al, 


(13.1.70) 


§13.2 线性 约 东 问题 的 信赖 域 法 


本 节 我 们 介绍 一 个 求解 线性 约束 的 信赖 域 涯 .该 方法 是 一 可 
FT HE A TE Re A A Ae 


考虑 线性 约束 问题 
min ffx), (13.2.1) 
st.afe=b, ICE, (23.2.2) 
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4 (13.2.3} 


RE k KERCA HASA ce, Bo, 是 可 行 的 , RTH 
为 


mingg d+ 5 LaT Bed = peld), (13.2.4) 
st.afd=0, 16E, (13.2.5) 
aT (ep +d) 2b, TEI, {13.2.6} 
dll $ Ag. (13.2.7) 


不 蕉 看 出 (13.2.4) 一 {13.2.7) 是 一 个 二 次 规划 ， 可 用 第 9 章 的 方法 
求解 . 记 dy 为 (13.2.4)-—-(13.2.7) 的 解 ， 与 无 约束 优化 信赖 域 法 类 
ih, SEM HAA 
r= F(x) — flee +da) (13.28) 
i PEO) — prlde) | ~ 
Fd, WE x, BR dr = 0 4 ARH 2, 是 原 问题 (13.2.1) 一 (13.2.3} 
的 K-T 点 :由 于 每 次 过 伐 的 子 问 题 把 所 有 约束 都 考虑 到 了 ， 敢 不 
可 能 出 现 句 齿 (Zigzagging) PLR. 下 面 给 出 的 信赖 域 法 是 假定 初始 
点 ri 是 一 个 可 行 点 . 
算法 13.2.1 
Hi Ai zl WE (43.2.2)-—-(13.2.3): 给 出 Bi e RTS", Ay > 
20,k:=1. 
步 2 RA (13.2.4)—(13.2.7) 给 出 da; 如 果 jide] < e 则 停 : 
计算 (13.2.8); 


{ Tk tdk, WE r > 9, 

ew = (13.2.9) 
Tk, 否则 . 

#3 ”如果 ry, > 0.25 WFR 4, Ay := Ay /2, 转 步 5; 

WA WME re < 0.75 RAF dela < Ax MHE S Arco 2A4; 


步 5 Arp := Ag; 计算 矩阵 Beyn kis k+l BH a 
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Ba 可 由 拟 午 顿 公式 给 出 TE FIORE TR, BIE 
定 (Bn) BCR, NEE REM 使 得 


Mt iN k AB EAE. r 

定理 13.2.2 36 f(x) EUF ESE MH, (13.2.10) $W 
足 ， 算 法 13.2.1 所 产生 的 点 列 {1} WARA WOA-PRAR 
AHHAR KOT 点. 

证 明 ”假定 定理 不 真 ， 我 们 可 证 


lim A, = 0. (13.2.11) 
kena 


MAR ELA, WE EER S > 0, KAA ABE Hk 
A, 26 H ry 20.25 (13.2.12) 
成 立 ， 记 所 有 满足 (13.2.12) 的 到 的 集合 为 Ko. 不妨 设 


lim mx =ë. 113.2.13) 
ken 


根据 假设 ， 天 不 是 (13.2.1} 一 (13.2.2) H K-T A, eed =0 REN 


mingla)! d + H iag (13.2.14) 
st. aq d=0, ic E, (13.2.15) 
al(z+dizo0, €f, {13.2.16} 
idle < 6/2 (13.2.17} 


HOM. Gh d 是 (13.2.14)—(13.2.17) He, MWE 
n= glz) d + 3 <0. (13.2.18) 
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于 是 由 (13.2.12), (13.2.13) 和 (13.2.18) By 
1 
pr(O) 一 vr(de) 2 -30> 9 (13.2.19) 


TRA PLS AW ke Ko 都 成 立 ， 利用 (13.2.19) 和 (13.2.12) 的 第 
二 个 不 等 式 即 知 


flee) — firr) > -in >0 {13.2,20) 


对 所 有 充分 大 的 大 E KHE. 由 于 jim, f(xy) = FB), (13.2.20) 


不 可 能 对 无 穷 多 个 上 和 成立， 此 矛盾 说 明了 只 要 定理 不 真 则 必 有 
(13.2.11). 
如 果 (13.2.11) 成 立 ， 则 必 存 在 一 个 子 列 K, 使 得 


rp <0.25, VRE Ky. (13.2.21) 
不 妨 设 
Jim Xk = Ê, {13.2.22) 
booed 


MERE. 2 8A K-TA, Od RB 


main g(@)"'d + 5 Mal. (13.2.23) 
st.afd=0, i€ E, (13.2.24) 
a {i+d eh, iel, (13.2.25) 
lidl] <1 (13.2.26) 
的 解 ， 则 必 有 , 
gè d+ xidi = <0. (13.2.27) 


TH, HF (A.d) 是 问题 


、 1. 
ming($) d+ zilez (13.2.28) 
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st. ald=0, ice, (13.2.29) 
aT (è+ d) pba i6 7, (13.2.30) 
lil] < An (13.2.31) 
的 可 行 点 ， 则 只 要 A <1 就 有 


glè)" 十 5 Mildel? < Any. (13.2.32) 
这 里 dx SEW (13.2.28)---(13.2.31) 之 解 .利用 (13.2.22) 和 (13.2.32) 
即 知 
PE(O) — peldi) 2 — SHAR (13.2.33) 


对 所 有 充分 大 的 上 & Ky WR AT fle) 连续 可 微 以 及 {Br} 一 
RAR, RNA 


Pred, = Ared;, 十 of 用. (13.2.34) 
从 (13.2.33)—(13.2.34) 可 证 


jim me = 1. (13.2.35) 
这 显然 与 (12.2.21) HAIR. 此 矛盾 说 明定 理 为 真 . J 
类 似 无 约束 优化 的 信赖 域 法 ， 将 条 人 忻 (13.2.10) eA 


3 iF yay TB = +00. 13.2.36) 
定理 13.2.2 仍 成 立 . 
从 收 敏 性 结果 的 证 明 看 , 并 不 要 求 dy 是 子 问题 (13.2.4) 一 {13.2.7) 
的 精确 解 。 定义 f(a) 在 可 行 域 习 上 的 投影 梯度 为 
P(x -—aVf(z))-z 
a f 


Vaf(e} = lim (13.2.37) 
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其 中 
Piy) = arg min{||z- yiz € X} 


KEIM, vt EMM (132.1) (13.23) 0 K-T AMA 
Vi fiz") =0. (13.2.38) 


从 定理 13.2.2 的 证 明 可 淖 出 ， 只 要 da 是 (13.2.5)— (13.2.7) 的 可 行 
AAR 
IV x F (edi 


wk(0] — veldr) > BVx Fz) min (Ax, aa }, (13.2.39) 


则 算法 13.2. 仍然 是 有 全 局 收敛 性 的 
考虑 局 部 收 全 性 时 ， 我 们 假定 zz > rt, 且 只 有 等 式 约 束 ， 还 
假定 Ale") = Velo") 是 列 满 秩 的 ， 以 及 在 z* 处 二 阶 充 分 条 件 满 
足 ， 在 这 些 假定 下 ， 不 难 证 明 ,算法 13.2.1 产生 的 点 列 {z4} 超 线 
HERT o% 即 
im lee 
iSo [te — 2] 


eit TIERE Be 和 试探 步 必 满足 


im IBe [VIE BAV clet h)Z Z Tal 
Re exll 


=0 (13.2.40) 


=, 
(13.2.41) 
其 中 2* 是 由 A(z2*)7 E E a 2 EE E A R RO) 
HRF- 


§13.3 fa Beak [al i 


信赖 域 方 法 的 关键 组 成 部 分 之 一 是 试探 步 dx 的 计算 求 dy 
等 价 于 某 一 个 子 问 题 的 构造 ， 由 于 逐步 二 次 规划 方法 是 线性 索 类 
型 方法 中 十 分 有 歼 的 方法 ， 大 们 自然 希望 将 二 次 规划 子 问题 和 信 

赖 域 技巧 结合 起 来 由 于 信赖 域 法 要 求 
Hal] < Ax. (13.3.1) 
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简单 地 将 逐步 二 次 规划 法 中 的 子 问题 {12.2.1) 一 (12.2.3) 和 (13.3.1) 
合并 成 一 个 子 问题 即 得 到 


| . 
ingid+ —d? Byd = ox (d 13.3.2 
min ggd + zt Brd = pa(d), ( ) 
St, cifte) + aler d = 0, (13.3.3) 
cet.) + ailer)" d > O, (13.3.4) 

la < Ay. | (13.3.5) 


这 样 做 显然 是 行 不 通 的 , 因为 (13.3.3) 一 (13.3.5) 可 能 无 解 . 所 以 , 我 
们 必须 修改 (13.3.2)—(13.3.5), 以 便 得 到 一 合理 的 信赖 域 子 癌 题 . 
首先 ， 我 们 可 考虑 如 下 类 型 的 子 问 题 


. 1 
min gpd + 52 Bed = y;(d), (13.3.6) 


st. EN 十 dT Veler) =0, te8&, 


(13.3.7) 
Opci(te) +d? Veils} 20, iel, 

(13.3.8) 
all < Ag, (13.3.9) 


HP êk € (0,1] 是 一 个 参数 . WHO, 充分 小 ， 则 (13.3.7) 一 (13.3.9) 
一 般 是 有 可 行 点 的 .从 几何 上 来 看 ， 在 ules) 前 茨 上 一 个 因子 fr, 
实际 上 就 是 将 (13.3.3), (13.3.4) 中 每 个 约束 的 可 行 域 社 原点 方向 压 
缩 . 这 种 利用 6 的 技巧 在 逐步 二 次 规划 方法 中 克服 线性 北约 束 不 
相 容 时 也 用 到 . 

RR, £6,410, dy 不 一 定 是 (13.3.3), (13.3.4) 的 可 行 
点 ， 为 了 使 dk Æ (13.3.3), (13.34) 意义 下 尽 可 能 可 行 ， 我 们 应 当 
选取 O, 尽 可 能 靠近 1. 另 一 方面 ， pk RK W (13.3.7) 一 (13.3.9) 
的 可 行 域 念 少 ， 为 了 使 子 疝 题 能 有 一 定 的 自由 度 ， 我 们 不 能 证 OF, 
过 大， 
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我 们 称 下 列 问 题 


min ||(efær) + Alex) dOll (13.3.10) 
ea" 


的 最 小 范 数 解 为 Gauss-Newton 步 ， 记 为 dO" eB cl) We 
(10.1.2)—(10.1.3) 给 出 ， 由 de* 的 定义 ， 当 且 仅 当 


Bl < Ap (13.3.11) 


时 ， (13.3.7) 一 (13.3.9) A TITA- 为 了 不 使 4 太 小 ， 给 定 一 正常 
$ ói E (0,1), RO. <1, NER k WA 


Olde” || > 61Ax. (13.3.12) 
fin, RAET ARM TAA 
l, 如 果 2\fd&" || < Ap, 
=j (13.3.13) 
z/n EM, 


选取 Or. 

另 一 种 非 直接 选取 的 方法 是 把 8 = e 看 成 一 个 变量 ， 且 
EAK (13.3.6) 中 加 上 一 罚 项 a(8 一 1)?, 即 得 到 如 下 子 问题 
min gpd + 5a” Bed 十 okfB — 1)’, (13.3.14) 


EIQ1] 


s.t. eilz) +d? Vez(ay,) =0, ie E, 


(13.3.15) 
ciler) +d Vela.) BO ie, (13.3.16) 
Ild|| < Ax, (13.3.17) 


其 中 o > 0 是 一 罚 固 子 . 
男 一 种 克服 (13.3.3) 一 (13.3.5) 不 相 容 的 方法 是 将 (13.3.3)- - 
(13.3.4) 用 一 个 平方 和 约束 


en + ATD? & & (13.3.18) 
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HEER, Hm ch = e(zn} = {et mg); mle), Ap = A(re} m 
Vele,)?, & > 0 EBAL MTA Sk 


ingi d+ =d" Bud, 13.3.19) 
TR eT 5 k ( | 
s.t. [les +AT DONE < Er. (13.3.20) 
al < Ak (13.3.21) 
显然 ， 要 使 (13.3.20) 相 容 ， i 必 满 足 
> + 47 DTR. 13.3.22} 
čr PA k Ilex bOI ( 


设 dy 是 函数 (ce + AJAO Æ d= 0 处 的 一 负 梯度 方向 ， 即 
dy = Agel, i de >D 是 问题 
min |I(ex + AP ad, || (13.3.23) 
PEREN 
的 解 ， 则 asde 被 称 为 Cauchy 点 或 Cauchy 步 ， 用 dg? Zea. 在 
Celis, Dennis 和 Tapia (1985) 的 方法 中 ， 


Ex = {ex + AZ ag. {13.3.24) 
在 Powell 和 Yuan (1991) 的 方法 中 ， &, 取 成 满足 
Tp) i y) 
aa Her + ARDIE < & < rape, ice + ARE) II 
(13.3.25) 
HEA Ep db > bs 是 (0, 1) 中 的 两 个 常数 . 
基于 精确 罚 函 效 
Pix,a) = f(x) + alje? a], (13.3.26) 
我 们 可 构造 子 问题 


. 1 : 
min ga d+ 3d" Bud + cali(ce + Ak dY H, 
5 13.3.27) 
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s.t. lid] < Ag. (13.3.28) 


对 于 这 类 子 问题 ， (13.3.27] 中 的 范 数 与 (13.3.28) 的 范 数 并 不 一 定 
是 一 样 的 . 


§134 零 空间 方法 


考虑 等 式 约束 问题 
min f(x), (13.4.1) 
st. cr} = 0, (13.4.2) 


则 信赖 域 子 问题 (13.3.6) 一 (13.3.9) 市 写 成 


pat 
] T T r x 
aSk d+ 32 Bra = prid), {19.4.3} 
St. Peck + Add =0, (13.4.4) 
lalls < Ag. ' (13.4.5) 


假定 cx € Range (AP), 从 (13.3.11) 可 知 0, 应 满足 
OAL) * calle < Ax. (13.4.6) 


记 (13.4.3)—(13.4.5) KARA de, 则 不 难看 出 ， dy 中 是 如 下 问题 


min erd), (13.4.7) 
at. AT (d — dy) =0, (13.48) 
|a — årla < Âx (13.4.9) 
的 解 ， 其 中 
dy = OAT Tc: {13.4.10} 


- 578 ， 


— 


An = y A? — ldnll. - (3.4.11) 


ZATE d= d — dr, W Zk 是 由 AT MESA SBM 
WERP BI AT Zk =0, 272, = 1, MRIS 


d u e RUT, (13.4.12) 


II 

N 
Em 

a 


其 中 是 A 的 秩 、 利 用 上 式 ， 我 们 可 将 子 问题 (13.4.7)- (13.4.9) 
等 价 地 写成 


er 1 - 
min ut -ut Apu, (13.4.13) 
ugar 2 
st. iell < Ag. (13.4.14) 


其 中 4 = ZT (ge + Bedr), By = ZI Bp Zr 这 已 化 成 了 无 约束 优化 
信赖 域 法 予 问题 的 形式 了 ， 
我 们 用 Li HAT BR 


Pr(x) = cl 二 asltctzjlla {13.4.15} 
作为 价值 函数 来 决定 是 否 接受 d 显然 
Ared; = Pi (xp) ~ P(xs + dg). (13.4.16) 
我 们 令 预 佑 下 降 量 是 函数 deld) + orles + Apd 的 下 降 量 ， 即 
Pred; = $,(0} — onde} + on{henll: — ller + Abdella}. (134.17) 
BÆ f(x) 和 cle) —KERT RAB |B FA MA 
Ared, = Pred, + O(|Idel2). {13.4.18) 
Fad, 的 定义 ， 我 们 有 


dy = CAT)+t AT dy, (13.4.19) 
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dy, — dy = Zp Zi dy = (I — (AL) AR Jdr- 
{13.4.20} 


于 是 d 是 在 A 的 值 空间 的 向 景 ， 改 称 为 值 空间 步 , 而 di- dk 是 
在 AT 的 零 空 间 ， 称 为 零 空 间 步 ， 由 于 在 几何 上 ， 人 们 在 画 示 意图 
时 ，--- 般 是 将 值 空间 夯 成 垂直 方向 ， 而 零 空 间 画 在 水 平方 向 ( 兹 图 
13.4.1), 故人 们 岂 常 称 值 空间 步 为 垂直 步 ， 零 空间 步 为 水 平 步 ， 


图 13.4.1 


我 们 可 将 预 仙 下 降 量 写 成 两 部 分 ， 即 在 垂直 方向 和 水 平方 向 
的 需 估 下 降 量 ， 


Vpredy = k(O) — eldr) + crljeni — ler + 4AF dell), 


(13.4.21) 
Hpredy = heldr) — pridi]. (13.4.22} 
我 们 可 选取 94, 使 其 满足 “不 太 小 ”的 条 件 
Pxll(AP) celle > GAs ME Oe <1. (13.4.23) 
再 假定 我 们 选取 o 使 其 满足 
on > at (4 + > Bude) in +p, (13.4.24) 


则 可 证 


与 (13.1.15) 类 似 ， 我 们 有 


Vpred; > pminflesl, 6sAn/iCAP)* lel. (13.4.25) 


i... . ok a z ， 
Hpred, > ah Selle min[{Ax, |}9«ll2/||-Bxll2]- (13.4.26) 


于 是 我 们 证 明了 ， 存 在 正常 数 p,p: 使 得 


Pred, 21 minllleslli, As/ 


+ pallGalle min[Ag, Bra/ Bsa]. 
(13.4,27) 


所 以 , 我 们 可 先 计算 dy, 然后 非 精 确 求解 (13.4.13) 一 (13.4.14) 得 到 
Ue, 则 可 令 dy = dy + Zeur 这 样 求 出 的 de 显然 满足 (13.4.27). 

下 面 给 出 的 是 一 个 基于 零 空 间 的 信赖 域 法 ， 

算法 13.4.1 


步 1 


步 3 
Wa 


给 出 ri Ee R”, A> 020. 

O< P< faclaAn shel, 

Êz > 0,0, >0,k:= 1; 

如 果 lerle + [ZZ gelle <e WHE; 如果 (13.4.24) 满足 
出 转 步 3， 


Lo si 
Tk = az (9 + 3 Bede) l + 2p; 


求 满足 于 (134.27) 的 dp. 
出 (43.4.16) -(13.4.17) 计算 Aredx, Preda; 
计算 ry = Aredy/ Pred,; 
Th 十 Gp， 如果 rj > Bo, 
Chay = 
Tks 否则 . 


(13.4.28) 
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选取 Arn 使 其 满足 


[Gsltdsll2, Arh 如 果 rp < An 
Ags Ë (13.4.29) 
[Ax 8 Ag], 否则 ; 
步 5 计算 Bayi ong. ceo, k= kti, Bp 2. J 
首先 ， 我 们 给 出 如 下 3: 理 . 
引 理 13.4.2 id, 满足 !13.4.27) 则 有 
Pred, > T minfeg, 1! min[jAg sel 十 EMESA {13.4.3D} 
其 中 r = min[p/2 max(1, JAF He), 22/4] 种 
ex = lezle + | ZË gd. {13.4.31} 
证 明 如果 
lezl > An /2|| Af lle, (13.4.32) 
则 从 (13.4.27) 直接 得 到 
Predy > py Ag /2| A |fe- (13.4.33) 


HEA (13.4.30) 成 立 . 
于 是 ， 我 们 可 假定 (13.4.32) PRE. BMRA 


、 -= - 1 , 
Åk = ya? — jldele > ya? -HAR lellei) > Ar (13.4.34) 


如 果 
(14 2|/ Bella] A} talier < |Z gelle, (13.4.35) 


则 有 
上 Ble > |Z axila — || Bullatldalle 


> Zk gella — iBellell Ag [elles lla 
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1 1 
2 z llZé gxll2 + llexll2) = Bek 
(13.4.36) 
PENE, (13.4.34) 和 (13.4.27) 知 (43.4.30) Æ T = pz/4 时 成 
L. 


现 假定 不 等 式 (13.4.35) 不 成 立 ， 则 


lesila > ex/20 + | BellallAg lla). (13.4.37) 
因而 
Predy > m minfex/2(1 + Barla ar lle), Ae /|At lle] 
> ina 1+ |B 
mai, LAF minfAx, ¢¢/(1 + Balla, 13.4.38) 
故 知 (13.4.30) 在 7 = p1/2 max[1, | AF lle] 时 成 立 . = 


利用 上 面 引 理 ， 可 证 算法 13.4.1 Hea: 

定理 13.4.3 i J{r),clx) 二 次 连续 可 微 ， 设 算法 13.4.1 产 
生 的 点 列 {zk} 属于 某 一 开 集 9. 设 wz)，V27(z)， Az), VA) 
ES 上 有 界 . 如 果 对 充分 大 的 ok =F, WMR P(e) 下 方 有 界 ， 
UR Avil 一 致 有 界 ， 而 且 


Ss —— x, (13.4.39} 


1 Bile 
+ max ||Ballz 


UB AS 
limint{ |exll2 + Zg ll2] = 0. (13.4.40) 


如 果 还 假定 Bi 一 致 有 界 和 b > 0, 则 有 
Jim [ehe + IZZ gle] = 0. (13.4.41) 


该 定理 的 证 明 技 巧 与 定理 13.1.6 的 证 明 类 似 . 
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§13.5 CDT = = 问题 


考虑 子 门 题 13.3.19)--(13.3.21) ER AERA (im, = m) 
的 情形 ， 它 可 写成 如 下 形式 


1 , 

ing? d + -dt Bd = 13.5.1} 
ming’ d+ 5d Bd = $(d), (13.5.1) 
s.t. | ATd -+ ello < €, (13.5.2) 
ldi < A. (3.5.3) 


这 类 子 问题 最 早 由 Celis, Dennis 和 Tapia(1985) R i, HERA 
CDT 子 问 题 . 
显然 ， 只 有 在 
E > Emin = iat min | A? d + ells (13.5.4) 
时 ， (13.5.2) 一 (13.5.3) AFA. 
HER ES Emin. 不 难看 出 ， 如 果 (13.5.2) 一 [13.5.3) 的 可 行 域 
不 只 一 个 点 ， 则 必 丰 


E = Em = min ||ATd + ella. (13.5.5) 


WR (13.5.2) 一 (13.5.3) 私有 一 个 可 行 点 ， 则 这 个 可 行 点 d BAH 
下 形式 

d= {AAT + Ate. (13.5.6) 
其 中 入 之 0, 如果 lz < AW A=0. AATHAL RAE Jidl = Alt 
AT RST. 这 种 情形 没 必 要 进行 更 多 的 讨论 , 因为 可 行 点 (13.5.6) 
也 是 子 问题 (13.5.1), (13.5.2) 的 解 ， 于 是 我 们 考虑 113.5.5) 成 立 . 
此 时 ， 必 有 

ldla < A, | (13.5.7) 
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Hed = -(47)+re 令 了 是 由 42 的 零 空 间 的 一 组 正 交 基 组 成 
的 矩阵 ， 与 13.4 节 类 似 作 变量 代 换 d= d+ Zu, 则 可 将 子 问题 
(13.5.1) 一 (13.5.3) 化 成 


lra ， 
min ĝu + zu” Bu, 13.5.8} 
near 2 
st hule < A. (13.5.9) 


这 已 是 问题 【13.1.56) 一 [13.1.57) 的 形式 . 
于 是 ， 在 下 面 的 讨论 中 ， 我 们 假设 


E > Emin- (13.5.10) 
首先 ， 我 们 有 如 下 必要 性 结果 : 
定理 13.5.1 i d* 是 子 问 题 (13.5.1)- {13.5.3 之 解 . 如 果 


(13.5.10) 成 立 ， 则 必 存 在 Lagrange IEF A* SO, p" DO 


(B+ ATE + AAT)d = —(g + p* Ac), 


(13.5.11) 
A*[A — lid" lla] = 0, (13.5.12) 
BIE = e+ AP dia} = 0. (13.5.13) 
MRR A 和 jp* ey, MERE 
H(X we) = BLATT 4 pt AAP (13.5.14) 


至 多 只 有 一 个 负 特 征 值 . 

证 明 ”由 于 (13.5.2), (13.5.3) 的 可 行 域 是 凸 集 且 有 非 空 内 点 ， 
HAA PF 8.2.11 满足 . 于 是 从 第 八 章 的 结果 别 存 在 A 20, pe BO 
使 得 (13.5.11)—- (13.5.13) EX. AR LA SRA OL PRUE AA SEE (13.5.14) 
在 A" ue 唯一 时 至 多 只 有 一 个 负 特 征 值 . 

WRATH d 处 不 积极 ， 则 利用 二 阶 必 要 性 条 件 即 知 
HOA 至 多 只 有 一 个 负 特 征 慎 . 


下 呆 我 们 可 般 定 二 个 约 来 都 在 二 外 积极。 定义 向 量 


y = Ale + AT a’). (13.5.15) 
Wise d Aly" PEALE. WET ne REY 
yo ad. (14.5.16) 


FH £ > Ema Bl > 0 ET A OA at EI SAAT TE 
HR At e p oa AA (13.5.11; shana d* fe eld) 的 稳定 点 ， 从 
(13.5.16) Aly > 0 RUSE dP et < 0 的 方向 都 是 可 行 方向 . 
从 而 d Bd > 0. 所 以 我 们 可 得 到 d Bd SO AER da <0 也 成 
Ok, WR B AIE E 

mE d 和 RETR ATOMER ER PE AT) 在 
AE d* Al y EA IK) a2 EPE H ERE EY. 很 定 HAA ) 
AP TEAL. MARERE an, co € R”, 使得 H(A, p) 
YE Span (21.22) EARE. 而且 Span (21.22) HEE ETA n- 2 AE 
FAL EE AR. AE E 


ed gd" ee 
rye Ty" {13.5.17) 


FEAR Ab Me. 这 个 矩阵 的 非 奇 异 涪 明 存 在 韭 零 向 量 d © Spaniz, 22) 
使 得 


la -dj =A, etA” + Dile = S. (13.5.18) 


(13.5.18) 和 HO’, p") Æ Span (21,22) EAEI HE o(d* + d) < 
pid) 这 与 好 HENMAN. TUR BLA E 口 

下 曾 给 出 的 是 充分 性 条 和 件 . i 

EH 13.5.2 hd" & (13.5.2), (13.5.3) 的 可 行 点 ， 如 果 存 在 
MSO, p” BO PRA (13.5.11)~-(19.5.13) abe, WA H{X*.p*) 是 
FEER, dt 是 问题 (13.5.1) 一 {13.5.13) 的 解 . 
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证 明 ”对 任何 满足 于 (13.5.2) 一 (13.5.3) 的 d, RANA 


和 i 1, , 
ad) = g(a) + Sa NA + zalle + AT dil 
1 * 7 + ` j 
- sal + a e+ ATA l] 
+ 1 * * jj 1 下 1 T z2 
> A(T) + A` + Sut le ATA 


1 * : * : Tori 
- Farad + atlle + 47a) 


i... 加 ， 
= (d) + SNIA? = dl] + 511g? — lle + ATA] 
> (dt). . (13.5.19) 


Han d* 是 (13.5.1) -(13.5.3) 的 解 . o 

定理 13.5.2 的 一 个 直接 推论 是 推论 13.5.3 

推论 13.5.3 BÆ B 正定 ， 则 (13.5.2), (13.5.3) 的 可 行 点 
d* 是 (13.5.1)--(13.5.3) HE. MAI OY 20, p* BO 使 得 
(13.5.11)—(13.5.13) 成 立 - 

所 以 ， 在 BES, (13.5.1) 一 -(13.5.3) 的 解 必 有 如 下 形式 


dA, py) = H(A, p) tg + Ae). (13.5.20) 


利用 推论 13.5.3, 我 们 有 如 下 结果 . 

引 理 13.5.4 HBE, E (135.20) 所 定义 的 d(A, u) 是 问 
题 (13.5.1)-~(13.5.3) 的 解 当 且 仅 当 它 是 (13.5.2} 一 -{13.5.3) 的 可 行 
点 ， 且 下 烈 之 一 成 立 : 

LAS p=; 

2 +4>0,4=0, a alle = A; 

3. A=0, p > Q, jje + ATHA, ls = £; 

4. à> 0, > 0, Jd pile = A, Je + AT dA, pla = £. 

于 是 , 求解 CDT 问题 等 价 于 找到 A* wt SO HR dA p) 可 
行 且 引 理 13.5.4 中 的 四 种 情况 之 一 成 立 


| RF -~ 


4 A" = p" 二 0, RN d 一 B-1g 是 唯一 解 . 


(13.5.21) 


“4 u" = 0 Ff A* > 0, 我 们 可 利用 (3,0) =0 求 外, 其 中 
一 ， 1 1 
Mw) = H. 
YO) = Tawi -A 


我 们 考虑 BO,0) = 0 而 不 是 ld, Oja = A 的 理由 和 13.1 节 类 
fl, HBA, 0) 更 像 一 个 线性 函数 ， JO.) 作为 和 RE 


县 单调 上 升 . 所 以 我 们 可 用 牛顿 汶 先 代 : 
_ $00) 


Ag =H = 
+ #4 (A, 9) 


(13.5.22) 


不 难 证 上 明 ， 对 任何 初 值 © (0, Ah (13.5.22) 将 产生 单调 上 升 的 点 


FE Be A". 
4 At = 0 A p > 0, 我 们 定义 
+ 1 1 
3 A = 一 - 
pal >it) lie + ATECA, Ps 和 
类似 地 采用 牛顿 法 求解 WO, a) = 0. RA 
KODS 
pa l0, ps) 
当 At >G, a* > 0, 我们 可 利用 


Hy 二 上 一 


BA u) = 0. 
| PA 2) = 0 
来 求解 A, ut AR (13.5.25), (13.5.26) HEERA 
(+) - (*) -JA Cw | 
u4 j er, u) 
其 中 JA, u) 是 Jacobi 阵 : 


KOAL) BW, "| 


机 


JA, p) = | 
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(13.5.23) 


(13.5.24) 


(13.5.25} 


(13.5.26) 


(13.5.27) 


(13.5.28) 


下 面 这 个 算法 正 钙 基于 计算 Mw 使 得 引 理 13.5.4 中 的 四 种 
情形 之 一 得 到 满足 . 
算法 13.5.5 
Hi Big eR", BER, A> 0,€»> inin. 
22 计算 d(0,0), 如果 4(0,0) 可 行 则 停 ; 
如 果 ido < A 则 转 步 4; 
步 3 用 (13.5.22) R P(A 0) = 0, H A; 
如 果 ACA", 0) 可 行 则 停 ; 
步 4 用 (13.5.24) 求解 站 0, = 0, BH we"; 
如 果 d(O, pe") BT FT ; 
步 5 用 (13.5.27) 求 解 (13.5.25), (13.5.26) 给 出 和 pr， HE. 


上 而 算法 实质 上 是 将 可 能 的 四 种 情况 逐一 试探 ， 直 到 求解 为 
止 . 另 一 种 比较 直接 的 方法 是 在 R4 = {和 之 0,4 > 0} 上 求解 系统 


P(A, it) T Pr, it) — 
(Sarg) >0 (A 4) jn] =o 


(13.5.29) 


§ 13.6 Powell-Yuan 方法 


考虑 等 式 约 东 问 顾 (13.4.1), (13.4.2). 试探 步 d 由 求解 子 问题 


mingya + Sd" Bad = bald), (13.6.1) 
st. jes + AZ dlja < Er (13.6.2) 
lldll2 < Ag, (13.6.3) 
Ay 是 信赖 域 半径 ， & 是 满足 (3.3.25) PS. MERARI 
Py(z) = fle) — Xx) ce(s) + ollel, (13.6.4) 


其 中 ok > 0 是 办 因子 ， 和 (xz) 是 


min 人 (一 上 Al {13.6.5) 
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的 最 小 范 数 解 ， 塌实 下 降 量 为 


Area, = Felat — Peltre t dk) {i3.6.6) 


预 佑 下 降 量 定 义 为 
pred, = 一 {gr 一 ARE 一 sil Bade 
十 [fr 十 dis} 一 Aw” (cx + = AT dx) 
+ ox(|lex|[3 — ller + Ak dill). (13.6.7} 
BOP d, 是 di Æ AT MESA LNB, H 
dy = Prdk, (13.6.8) 
P, = I~ A(x, Aler)". {13.6.9} 
如 果 jjesla- ller + AF drli > 0, 则 从 (13.6.7) 可 知 ， 我 们 可 使 
得 (必要 时 增 六 ok) 
Predy > 5ox(lleull3 — lies + 4 人 |) (13.6.10) 
如 果 lerle ller + AP dalle = 0, W dy Fb dn (d) FE fa Bi AP Bs 
间 之 交 上 的 最 小 点 ， 此 时 Prede = ¢4(0)— pelde) 而 且 Pred, =0 
DH ge — AgAy = D. 
下 面 的 算法 是 Powell 和 Yuan (1991) 给 出 的 : 


算法 13.6.1. 
Bl Hr eR”, Ap > Oe SO. 


Ocmtmcl<1, OS§ mst <1, Ta > Ok = l; 


步 2 wm jesle + '|ge-- ArArll < ¢ WE; 
AK (13.6.1)— (13.6.3) 得 到 da: 
23 计算 Predi; 如 果 (13.6.10) 满足 则 转 步 4; 
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& 


č -2 Pred, 1 
Tr (03.6.1) 
Tk stona i Feat? - ‘lex + At dys f . 


. BOTH (13.6.7) 计算 Prede- 
ia WË rp Aredp fP reds: 
f Se tdr. Ws re >10, 
Fp 二 (13.6.12 
\ Pas TR A] 


选取 Anas HA 


max[4ide|:2, Sel iy ory > 0.9, 
Anti = 4 Ag, Ol Srp, < OY, (13.6.13) 
| minjA, /4, |dkil2/2l, re <01 


步 5 EEE Basis Geer cee On, kis k tl Feb 2. "3 
为 证 明 算法 13.6.1 aE, RIEA FE : 

RE 13.6.2 

1) FEA RE OS RY 便 得 {reh {re h dep TPE OA 
2) A(z) 对 所 有 的 ze 2 FR; 

3) 矩阵 [Bik = 1,2,---} ~~ RAF. 

下 面 卫 个 引 理 对 Pred, 的 下 卉 进行 合计. 

引 埋 13.6.3 ”对 一 切 关 部 有 


leslla - lles + AT delle > min [lert]; nt (13.6.14] 
1p [2° 


其 中 by 是 在 (13.3.25) 引入 的 正常 数 ， 


证 明 如果 bâr CAP) Teale, W Ek = 0, FR 


lenlls ~ iler + Ak dr i2 = lecrllz, (13.6.15) 


显然 (13.6.14) 成 立 . 
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可 知 


llealle ~ Iles + Af dall > lex] — £x 


; by Ay 
> leslie = [lex - al aag De 

hA 1 
= jeri 2 2k (13.6.16) 


KAR texll2 ~ AP lz 


所 以 引 理 为 真 ， 
引 理 13.6.4 ”存在 正常 数 51 使 得 


1 
Prede ~ Sox(\lexl!3 — Hex + Agdella) + 61||delleflenlts 


lis Be 
> g ll Pr della min [Re Hdl) 


2|| Bellz 
+ Zonllexlle min [lleull, last (13.6.17) 
Xi— H k AR Hh 
Gk = gk + Brds. (13.6.18) 
dy = dr — Pydy = dy — dy, (13.6.19) 
Ax = yA} — ilåxll. (13.6.29) 


证 明 ”根据 di 的 定义 和 Ica + AP dalla < lerle 汀 得 到 


axlls = |Ar Af dello = WAL)? (es + APA) — er]lis 


< 2 AF laler l2. (13.6.21) 
由 定义 可 知 必 是 问题 
Tl , 
ming, d+ z Bed, (13.6.22) 
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如 果 bode < (AP) TF eelle, 则 从 (13.3.24) 和 约 东 条 件 (13.6.2) 


-na 一， 


st. AZd =Ù, 
lde + dll & Ax 
的 解 。 不 礁 证 明 ， da 也 是 问题 


rps bow. er — 
min (Pkg d + (Pd) Bpl Prd), 
fiche 2 


a.t. llalis A 


的 解 ， 利 用 与 引 理 13.1.3 类 似 的 证 明 方 法 ， 我 们 可 证 


teag 


A 主 ， = x 
_T _ : 
gi dp £ — || Pk gilla min Ax, 
k zll lp 2| Bl 


‘13.6.23) 


(13.6.24) 


(43.6.25) 


(13.6.26) 


(13.6.27) 


利用 An, de, Gn 的 定义 , 不 等 式 (13.6.27), (13.6.21) L dy Æ (13.6.25), 


(13.6.26) 之 解 可 得 到 


1 
(gn — Anan) dk + gtk Brdr 


II 


lores 1 -_ 
一 = 一 本 de 十 一 asla 
zik dk S 5 fk ük 十 ;| Beds tsildell 


un 


deli) 
2} Belle 


< —FllPrdella mia [An 
+ JAZ llall Be llailds| alles lle, 

TWA, PHE 13.6.2 我 们 知道 存在 b > 0 使 得 
LACEE) — Alze + dolla € Sz llalla 


对 一 切 都 成 立 ， 利用 ler + AF dlie 的 中 性 可 证 


1 | lo, h | 
ce 二 Ed < slesls + ller + AF deli2) < exllz. 


f 1 rs H 
(gx + 5 Bids) de = zige dk + dk Bedr + OF da) 


(13.6.28) 


(13.6.29) 


(13.6.30) 
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& 6; = éa + supt{ || Belall Ag lla} 从 假定 13.6.2 40 6, -A Rr. 


于 是 ， 利 用 (13.6.28)—(13.6.30), (13.6.7) 和 (13.6.14) MATRE 
(13.6.17) 成 立 . c 

上 面 引 理 的 直接 推论 是 如 果 [lea llo/An 充分 小 则 (13.6.10) 将 
被 满足 . 

推论 13.6.5 HIE 13.6.1 He > 0, 则 必 存 在 正常 数 ôs 和 
54 使 得 在 所 有 满足 

Herlls & 83A, (13.6.31) 

AK A 都 有 


1 oo, 
Predg 2 zelle] ~ jjer + Ad dy||2] + ba Ag. (12.6.32) 


证 明 . 从 假定 13.6.2 知 A, BAF, RINA A, <M, W 
= bs < gaps PIA (13.6.31) 可 推 得 lierllz < €/3, 利用 算法 的 然 目 
yy een 
gr — ApAnl|fs > 2/3, {13.6.33} 
如 果 bs < </(6M sup |iBx llall A$ ilz), 则 从 (13.6.31) 可 导出 
k 


£ 
6su up! Belal Ag lie" 


llexll2 < (13.6.34) 


从 上 式 我 们 有 
lge -4 = l|Pegalle < Pegle + ||P Bedale 


< ||P. dalle + 21 Af lle | Bellelics|lz 


< [lPageli2 + $, (13.6.35) 
EFLA nE 
Z 1 
o3 < lin 11,- ， 
ET in fi, DB ME (13.6.36) 


则 由 (13.6.33) 和 (13.6.35) 可 知 
Pedella > $- (13.6.37) 
HA S| 13.6.4 可 得 到 
1 2k 
Preds — xaxlllee iz — licr + Ag dalla} + 41] l¢elle icalle 
z _ ， 
> min Ar, r l. 13.6.38 
2 ja min Es | | j 


如 果 5 满足 
6 = 0.3/ sup [LAG I II i113.6.39) 


NU (13.6.31) 可 证 A, > O.8A,. 当 


bg < 


08 E | (13.6.40) 


E 
— in 一， — . 
624° | MOM? sup ||Bill] 
A 


则 利用 (13.6.31) 本 有 到 


= 1 
bi flex liz lld zg min LEA — |. 13.6.4] 
iflexli2|idz lle < ke 6 Bala | ) 
M (13.6.38) 和 (23.6.41), 我 们 有 
1 i 
Pred, 一 zrl calle 一 llex + Ag dall] 
z E G3 
2-1- min 10.8A i. 113.6. 
2 yj min ky 6] Bal! 13.6.42) 


由 不 等 式 (13.642) 和 {Ag}, {i2 的 有 界 性 知 (13.6.32) 成 立 ， 
O 

利用 上 面 给 出 的 预备 性 线 果 ， 我 们 可 证 明 fon} A NE. 
一 性 质 对 于 算 尘 的 全 局 收 敏 性 是 至 闫 重要 的 ， 

引 理 13.6.6 WAJ 13.6.1 中 的 = > 0. 则 数列， {ork = 
1,2,….} AA HT or 的 每 次 增加 至 少 扩大 一 倍 ， 故 有 正 整 数 k, 


Ok 二 OF YY (13.6.43) 
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证 明 ”推论 13.6.5 ZEA (13.6.10 Æ Ijeri > 565A IN AA 
成 立 ， 在 这 种 情形 下 ， 我 们 利用 引 理 13.6.4 可 得 到 


1 ， 4 
Pred, 一 eei2 — le; 十 Al dy IES 


, 1 . F 
> EAI miniéa, by /85) 一 A (13.6.44) 


其 中 ôs FE {Aila k = 123, BORER. PU, AB op > 
261 max{1/é3, s/b], 则 (13.6.10) 成 立 ， 堆 知 {o} GA. o 
基于 上 一 引 理 , 在 进行 收 伍 性 分 析 时 , 我 们 可 假定 ox = (VR). 
下 一 个 引 理 指出 如 果 算 法 在 > 0 时 不 有 限 终 止 则 信赖 域 半 径 和 
约束 量 数 都 趋 于 零 . 1 
引 理 13.6.7 设 <>0 且 算法 13.6.1 PARZE WA 


lm Ax = 0, (13.6.45} 
lim fleells = 0. (13.6.46) 
k— 


证 阴 “ 如果 (13.6.45) 不 成 立 ， 则 


n = limsup Ay > Ô, (13.6.47) 
kak 
Th 2 0.1, Az = n/B (13.6.48) 


的 二 所 组 成 的 集合 为 K. HF (13.6.47), RIA Ke h—A ES 


lira Pred, = 0. (13.6.49) 
MAX keK Hk FEAR, (13.6.32 不 成 立 。 从 推论 13.6.5 和 
(13.6.48) TT ÆN 

llerlle > ĉ37/8 (13.6.50) 
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对 所 有 充分 大 的 大 E 天 都 成 立 . 利用 引 理 13.6.3, 我 们 有 


1 加 a 
Predp 2 z7 illell ~ jjer -+ Ag de 3) 


> Felice liz min lene Taye sassy 
HTE M (13.6.48), (13.6.49) 和 (13.6.51) aT au 
lim ilesa = 0, (13.6.52) 
bom 
这 显然 与 【13.6.50)] 7A. AGRA (13.6.45) R. 
现 证 (13.6.46) 也 成 立 ， 若 不 然 ， 则 
Rs lim sup lesia > O (13.6.53) 


定义 集合 下 = {killer > 3/2}. 利用 (13.6.51) 和 已 证 明 的 (13.6.45) 
. 可知 ， 存 在 常数 6 > 0 使 得 


Pred, >G6A,, VRE EK. '13.6.54) 


这 一 不 等 式 和 (13.6.45) 可 推 得 


lim re == 1, (13.6.55} 
上 面 极限 和 不 等 式 (13.6.54) #1 
SO Ak < +00. (13.6.56) 
keR 


根据 K 的 定义 ， 从 (13.6.56) 和 ele) 的 连续 性 ， 我 们 有 
Jim calla = 7. (13.6.57) 
于 是 , BETTIE KEG ke R. 利用 (13.6.55) 即 知 Arei > An 对 


所 有 充分 大 的 大 都 成 立 . 这 与 (113.6.45) AA. 矛盾 说 明 (13.6.46) 
AH D ` 
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有 了 上 述 结果 , 汗 明 算法 135.t 的 爹 局 收 襄 性 就 比较 容易 了 

定理 13.6.8 tei 13.6.2 中 前 条 件 都 满足 ， 则 算法 13.6.1 
T ec OW OY ARER IL. Æ s= 0 MATA ET K-T A 
BR PAA AYI) {za} HIE 


tin iuf, ee 一 下 Fgiel;2] = 0. (13.6.58) 
证 明 Aik es > U, RB Heeb, i 
lesile + Ergil 2 e (13.6.59) 
对 一 切 上 大事 成立， 利用 {13.6.46) Bin 
WPronng 22/2 (13.6.60) 


对 所 有 充分 大 的 都 成立 ， 利 用 (3.6.60), (13.6.45), (13.6.46) 以 
及 (13.6.17) 可 以 证 明 存 在 正常 数 6 使 得 


pred, > oA, (13.6.61) 
SATA Aa ATK k EE WD Esha 
lim rp = 1, (13.6.62) 


5X — ER PR Aa 2 Ae k EAREN 因而 与 (13.6.45) + 
FE MCPS BH Lay e> 0 算法 13.6.1 HAARE 
MJE- 
WF = 0, MARE BAG de = 0， 如 果 de = 0, 则 
ze AHH K-T 点 .假定 算法 不 有 限 和 化 止 ， 则 对 一 切 大 均 
di #0. 念 
w= inf[|icsll2 + [lL Proxilel. (13.6.63) 


WE > 0, 则 算法 对 于 e = 9/2 PARE, ERY LAE 
ARPS. FWA g= 0, 所 以 (13.6.58) 成 立 . J 
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第 十 四 章 非 光 滑 优 化 


814.1 广义 梯度 


FE ACT eS Bc Te ARS BRE AS EYE OR a AT 
ie PB. 在 非 线性 规划 问题 (8.1.1) (8.1.3) 中 ， zl ele) -= 
Lo m) 中 有 一 个 是 非 光 滑 还 数 , 则 称 问 题 为 非 光滑 优化 . AO W 
究 非 光 渭 优化 的 晤 优 性 条 件 和 构造 求解 非 光 油 优 化 的 计算 方法 ， 
首先 详 了 解 非 光滑 函数 的 医 本 性 质 . 

设 OX 是 一 个 Banach hal, JO EEEX EM. HA 
Ke- F< Ke YayereX (daa) 


则 称 f(x) Te Y 上 满 耻 Lipschitz 条 件 ， 其 中 天 是 一 常数 ， OY 是 
X 中 的 -- 子 集 ， 定 义 广义 球 
B(lr,e) = {yj lz- yj] < ¢}. (14.1.2) 


WER FEN, 如果 存在 < > 0, 使 得 f(r) 在 B(x,z) 上 满足 Lip- 
schitz fF, MAE fle) 在 附近 满足 Lipschitz %4. p Br fiz) 
在 A (ER GA x 附近 ) 满足 Lipschitz 条 件 也 可 称 其 是 Lipschitz 
的 . 

如 果 f(z) 在 xz 附近 是 Lipschitz 的 ， 则 对 任何 de X, 定义 
fix) E r RA d BET” SOT EE ROA 
Fly ~ td) -- fly) 

t 


f° (x, d) = limsup (14.1.3) 


to 
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H 


AP t0 RE + 音调 下 降 地 趋 于 90. 
引 理 14.1.1 f(a) 在 z 附近 是 Lipschitz fj, 则 
1) Fir, d) 作为 4 的 星 数 是 正章 次 的 和 次 可 加 的 ， 且 满 是 


[f°tz,d)l < Kijal- (14.1.4) 


2) f° (x, d) 作为 d HRA 世上 是 Lipschitz 的 . 

3) f°(z,d) 作为 œ d) BARE EPER A 

4) f(x, —d) = (=F) (x, d). 

证 阴 H (14.1.1), (14.1.3) 以 及 fle) 在 x 附近 是 Lipschitz 
的 可 直接 得 到 (14.1.4). 根据 定义 04.13) PEE A> 0 都 有 
Fie, Ad) = Af? (a, d). 由 定义 (14.1.3) 有 
Fly + t(di + da)) ~ fly) 

È 
f(y — tdy + tdo) — fly + tda) 
t 


Fly + td) — f(y) 
t 


f(a; di + d2) = lim sup 
yor 


#10 


< lim sup 
y= 
to 


+ lim sup 一 


Y w 


z Fels, dy) + f° (a, da). (14.1.5) 


至 此 ， 1) 已 得 证 . 
对 任 给 disd © X, 我 们 有 


tly + td.) ~ fly) < fy t tda) — fly) + Ethd dal (44.1.6) 


Sao 附近 的 y, 充 分 小 的 上 >0 成立. 在 上 面 不 等 式 中 取 y Sa, 
#0 则 可 得 到 


fr dy} < f° (e,da) + Klldi — d2!) {14.1.7) 


[ej AE AY HE 
Pole, do) = fo (a, di) + Kidi — doll. (14.1.8) 
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AA (14.1.7), (14.1.8) 即 知 
(Piedi) — fle, d2)| < Klid, — da]. (14.1.9) 


Pres 2) 成 六 . 
现 考虑 性 何 的 {re} {de} 使 得 a, 一 z, dy > d, 对 每 一 个 下, 
FÉ th > O Al y CX ER 
1 
| 一 eal] — te < 下 


flan, dz) l < F (ure oe = flan) 


Flue + taeda) — flys + ted) | fy + ted) — Flys) 
ý tk ‘14.1.10) 


利用 f(z) E e 上 附近 是 Lipschitz 的 和 不 等 式 (14.1.10), 我 们 有 


lim sup f° (zr, dk) < f (z, d) 4.1.11) | 
Reve 


这 正 是 上 半 连 续 的 定义 . 
直接 推导 有 


Fela, ~d) = lim sup ity — td) — fly) 


t 
Jo 
lim sup C(t 工 全 六 (多 
(~F (z; d) (14.1.12) 


HEP u= y-itid, EUS YEAH. 

根据 Hahn-Banach 定理 {例如 ， Cryer (1982), 定理 7.4), X 
A EADIE TK BK BT IS AR OX RR. A 
14.1.1 AER EIS R E RAE RY td E X BBA f(a.) > Eld). 
显然 & 是 一 有 界线 性 泛 函 ， 故 它 必 属于 A MAE Se TES A i 
HAE A”. 因而 我 们 可 用 常规 记号 从 ,四 或 者 d, O RER UD. 
于 是 ， 我 们 可 纵 出 如 下 定义 K 
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HEM 14.4.2 fle) Aor BUTE Lipschite 的 ， 则 我 们 称 集 


{£ c X*| f(x, d) > E dh Wd = X} (14.1.13) 


是 了 在 xw MO RE. wA afle 
HAZE X" A ERE il EN 


jé = sup{(é.d):d € X, |d| < 1}, (14.1.14) 


Th Se) REA A F R 
引 理 14.1.3 i% fle) Æ z 附近 是 Lipschitz 的 ， 则 
1) Of(2) 是 X* 中 的 一 个 给 一 紧 的 、 非 空 四 集 : 而 且 对 OF ls) 
中 任何 上 都 有 |i < K. 
2) 关系 式 


“fz d) = max {ifd 14.1.15 
Pole d) = max {Ed} (141.15) 


对 一 切 d EX 都 成 立 . 
关于 引 理 14.1.3 AVE A Ay WL Clarke (1983). PO St Fy ta) E Ei 
SUBAREA] Clarke 提出 ， 这 些 概念 在 f(x) FE RCN TE A Rock- 
- afellar (1970) 对 古 函 数 所 定义 的 方向 导数 和 次 梯度 相 易 合 . 
根据 定义 14.1.2, 明显 可 见 广义 方向 导数 和 广义 梯度 有 如 下 基 


引 理 14.1.4 & f(e) Æ e 附近 是 Lipschitz 的 ， 则 
€€ f(z), (14.1.16) 
4HR 
Fo(z,d)> (fd), vde X. (14.1.17) 
天 上 的 一 个 非 空 集合 只 的 支撑 画 数 定义 为 : aelE) = sup <$, 


met 
z>. PHBH, (2,0) 就 是 ffzj 的 支撑 函数 .从 Clarke (1983) 
的 命题 2.1.5 可 知 ， 


sf@=() U af), (14.1.18) 


6>0 yér4+ B(0,5) 
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其 中 B(0,6) = {zj Ile] <6, e X} 4X BARAT. f(e) 是 
EEEN. 

SUPREME TD MGR ECT SEE, EDT EEA s © R, as 站 (z) = 
sofa). WM RES loom) 是 有 限 个 在 x HDE Lipschitz H E 


Z WSO RK Ac 附近 也 是 Lipschitz 的 而 且 有 关系 式 


tl 
a S Ale) z Sas (r). (14.1.19) 
i=l i=1 


ME fir) = g(h(e)), hte) = (hile) Aala) BED hale) 者 在 
z 附近 是 Lipschitz E, gC) 在 Alc) 附近 是 Lipschitz 的 ， 则 fie) 
E z 附近 是 Lipschitz HRA 


afir) Cc cof > Oé; > £; & dh; fe), & E 8g( 用 jate) > (14.1.20) 
=I 
其 中 fo 表示 弱 * 一 紧 凸 包 CE BL Clarke (1983) 定理 2.3.9). 
利用 引 理 14.1.4, 我 们 可 得 到 非 光滑 优化 的 一 阶 必 要 条 件 : 
定理 14.1.5 WẸ fls) E rt 处 达到 局 部 极 大 或 局 部 极 小 ， 
E fir) 在 zz* ER Lipschitz 的， 则 必 有 


0 Ee Of(a*). (14.1.21) 


证 骨 WE oe" fle) 的 展 部 极 小 点 ， 则 从 定义 可 证 对 任何 
TEX 部 有 


F(z d) > 0> (14.1.22) 


AA EFIGIA 14.1.4 即 知 0E Afir"). 

WR art 是 f(z) 的 局 部 极 大 点 ， 则 ot 是 (一 了)(z) 的 局 部 极 小 
mB, HAO e (fiet) 不 难 证 明 对 任何 s © 及 都 有 O(sf)(z) = 
sOf(z), Aili 0 © X-f)e*) = —Af(e*), BPA O e afat) 所 以 定 
理 为 真 . 

关于 充分 性 条 件 ， 我 们 有 以 下 定理 . 
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定理 14.1.6 i& 六 zz) 在 天 ”附近 是 是 的 和 Lipschitz H, H 


0 < Af(2"), (14.1.23) 


则 e*t 是 f(x) 的 局 部 极 小 点 . 
证 明 OOP aa ee f(x), 由 (14.1.13) 所 定义 的 广义 梯度 与 次 
梯度 


{£e X* f(z} — Jir) > (tz— x), Vz EX} (14.1.24) 


SAY (A, Clarke (1983) 引 理 2.2.7). 于 是 从 (14.1.23) 和 (14.1.24) 
BDA z+ 是 f(z) 的 局 部 极 小 点 . 

所 以 对 于 凸 函 数 ， (14.1.23) 是 x* 为 局 部 极 小 点 的 充分 必要 
条 件 . 这 一 充分 必要 条 件 化 等 价 于 


f'(x",d)>0, Vde x, (14.1.25) 
REF ap BT SA a SE PO (ce, dd) EF T a Sm Bef’ Gor. dd): 
fie tid)— fir) 
i . 


f(x, @) = lim (14.1.26) 
我 们 还 可 得 天 一 个 关于 严格 ( 强 ) 极 小 点 的 充分 性 条 件 ， 
-E 14.1.7 if fie) fe a” WRB AM Lipschitz 64, A 
果 . 
fila*.d)>0, Wd 4OdeE X, (14.1.27) 


Met 是 f(z) 的 严格 ( 强 ) 槛 小 点 ， 即 存在 5 > 0 使 得 


f(a) - f(a") > Sle — el (14.1.28) 


对 所 有 充分 靠近 s" 点 外 的 x 都 成 立 ， 

证 明 ”定义 集合 5 = {did © X, |d] = 1}, WA S BR 
集 . 由 (14.1.27) fe’ D ES LAE Wh fia, d EEL 
{事实 上 ， frt d Æ d EFR. cope) AFE 6 > 0 使 得 


fie’ dd) >26 Ydes. (14.1.29) 


于 是 对 在 何 < 5, 存在 ttd) > 0 使 得 
Fa + td) — f(a") te, Ve € D, td]. {14.1.30} 
我 们 假定 dD 满足 d) > 1 RAEN t eE kid) 1] 都 有 
firt +td)— f(e*) < té (14.1.31) 
成 立 ， 利 用 fir) Eru ERE, RIEA E e > 0 使 得 
t(d) > e, vdes. (14.1.32) 
于 是 对 任何 = 满足 jz a*l] < e RA 
fla) ~ f(z") > élle — e” | (14.1.33) 


HERIR. 口 
但 是 ， 对 于 非 凸 函数 ， 我 们 并 没有 类 似 上 商 给 出 的 充分 性 结 
果 ， 事 实 上 上 ， 考 虑 单 变量 问题 


f(x} = | (0M ar 3z|， TE [z “AL 


f(z) = f(a), Ve € [-1,0), (14.1.35) 


贴 知 fir) 在 [~1,1] Æ Lipschitz 的 ， 且 在 «* = 0 处 
f(x,+1) =3>0, (14.1.36) 
HAAA ie) PRB 3. 但 z" = 0 不 是 极 值 点 . 
814.2 ， 非 光 清 优 化 问题 
考虑 无 约束 优化 问题 ; 
min f(x). (14.2.1) 
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其 中 fir) 是 定义 在 Banach 空间 的 不 可 徽 函 数 . 假定 函数 f(x) 满 
Æ Lipschitz RF. 由 上 一 节 结 果 知 x* 是 问题 (14.2.1) 之 解 则 必 有 


0 € BF (e*). (14.2.2) 


我 们 称 满足 OC Oflz) 之 点 为 问题 (14.2.1) 的 稳定 点 ， 

非 光滑 优化 问题 (4.2.1) 的 求解 ， 如果 利 用 解 可 微 问题 的 方法 
(假定 在 每 个 先 代 点 上 flo) 都 可 微 ) 有 两 个 很 大 的 难点 .第 一 是 算 
法 的 经 站 条 件 不 易 给 出 我们 知道 ， 当 z 充分 靠近 一 连续 可 微 滑 
数 f(x) 的 极 小 点 时 IV (2) 一 定 非常 小 ， 所 以 兴 滑 的 无 约束 优化 
方法 的 终止 判别 条 件 常 常 旦 


IVF E e- (14.2.3) 


ERT AE GH ed Be f(z), 我 们 并 没有 类 似 的 结果 . 例如 , 考虑 X = 
Rt, f(x) = jzj, 则 对 任何 不 是 解 的 x, f(x) BT fi 


jð Fie) = |W F(z} = 1. (14.2.4) 


另 一 个 难点 是 由 Wolfe (1975) FRAT “STEM FIER” 现象 ， 也 
就 是 说 , 当 f(e) RPA PAR, 由 精确 搜索 下 的 最 速 下 降 法 去 求 
解 (14.2.1) 可 能 产生 一 收 促 于 非 稳定 点 的 点 列 {zk}. 例如 X = R, 


设 © = (uo), 


1 : 1. 
fiz) = max [a 十 ts — 1), z% + (a+ 1)?} (14.2.5) 


2(1 + lexi] 
by = (14.2.6) 
、 Ek 


H ex £0, 则 不 蕉 计算 出 : 


V fz) = + 'exi) = 2(1 + |e) : {14.2.7) 
2(1 十 Zellik ty 
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BE zk 具有 形式 


其 中 所 = sign(e,). 对 f(z) 从 zx 沿 负 梯 度 方向 -V See) 进行 精 
确 线 搜索 ， 得 到 
2(1 十 ne 


Eee = Be + Ql Vf (zk) = | ex/3 
—Ek 


| 2 十 ler—1]) | 
L Ëk+1 | 
H ekp = —en/8 #0. 于 是 ， 我 们 可 证 sk 0. RTA JE an 
(2+ 26AT (5 0) 的 初始 点 ， 精 确 线 搜索 下 的 最 速 下 降 法 将 收 
MAT (2,0)7. BIR (2,0)? AH (14.2.5) 的 稳定 点 . 

H AER ARSE LAS 


min Fiz), (14.2.9) 


(14.2.8) 


HEY OX B-*+#S. WAY ETITA. EMR 
dist(z,¥) = min ly — zll; (14.2.10) 
AU AT Ba ARTE I ER IHF (14.2.9) 等 价 于 


min f(x) + odist{z., Y}. {44.2.11 
ze 


由 于 f(z) AG PRR, MPT AMRIT dist (x, Y) 是 一 并 不 太 复 
AR BO AS of pe Re, ART AGE (14.2.11) H Be eh ee PR 
WAR. 故 知 愿 约束 优化 问题 化 为 一 等 价 的 无 约 东 问题 . 这 也 部 分 
地 解释 了 为 什么 大 们 讨论 非 光 滑 优 化 问题 时 仅 讨 论 无 约束 问题 . 
不 可 微 优化 的 例子 很 多 , 例如 极 大 极 小 问题 , 即 对 寺 -- 极 大 值 


PR ee 


f(z}= max filz) 2 EX. (14.2.12) 
i [icon 


如 果 要 求 f(x) 的 极 小 就 得 到 


min fiz) = min ymax, file). (14.2,13) 
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另外 ， 关 于 非 线 性 方程 组 求解 

fi(w@}=0, i=l, (14.2.14) 
BOA AS EERE | | 意义 下 极 小 就 得 到 

min fiz) = min f(z (14.2.15) 
其 中 f(r) = | fle), fle) = ile), fale), ++. fife) Æ X EY R” 
的 向 量 函 数 ， 上 | .1| Æ R” 中 的 范 数 ， 问 题 (4.2.15) 显然 是 一 非 光 
滑 优 化 问题 . 当 上 -| = 中 它 是 i 极 小 化 问题 ; 当 | = | loe 
时 ， 它 是 一 Chebychev 逼近 问题 . 


第 十 章 6 节 中 的 精确 罚 通 数 (10.6.1) 也 是 一 非 光 江 函数 .所 
以 它 的 极 小 化 问题 也 是 一 非 光 消 优 化 问题 . 


514.3 次 梯度 方法 


次 梯度 方法 是 最 速 下 降 法 的 直接 推广 ， 它 每 次 侈 代 利 用 一 gx 
作为 搜索 方法 ， 这 里 g 是 任 一 次 梯度 . 

Efa 是 R PHRA, EAA EX. AREER, R 
数 几 乎 处 处 可 徽 ， 且 有 


afz] = conv Niz), {14.3.1} 
其 中 convf EE O HAEL, 
O(a) = {gig = lim Y f(z IEE, ai 4 2, Vila) BEJ (4.3.2) 


TBE ETE A] HERB AT: 

算法 14.3.1 

步 1 给 出 韧 值 x! eR”, k =1; 
步 2 计算 fle.) UR op € Of (an); 
23 ARPE a, > C: 


Stag = Ek — Qkge/ lgrlls (14.3.3) 
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A= A+ 1; 转 步 2， E 
EWEA OR EE PEP, Be RH te 
ZA TT PE -F BUR Oe R) ERA E AL. 
将 光滑 优化 中 ， 非 精确 搜索 常 要 求 沙 长 o 满足 


Flap t andy) 三] 十 ke 有 六 ap， (14.3.4) 
Re & (0,1) BRM. OP RR PR. rita 
f(t, — an f(ee)) < flee) ~ ara l|Y EN- (14.3.5) 


但 是 ， 当 f(a) 是 非 光 滑 时 ， 则 对 任何 cy E (0,1), 和 gn € OF (an), 
不 等 式 
Flee — age) Z fre) — aes il ge ||? (14.3.6) 


可 能 对 任何 a > 0 都 不 成 立 . 所 以 , 在 非 光滑 优 任 中 进行 Wolfe 线 
搜索 是 不 可 行 的 . 

尽管 精确 搜索 和 非 精 确 搜 索 均 不 能 简单 地 从 光滑 优化 推广 到 
非 光滑 优化 , 但 是 次 梯度 方向 是 一 “好 方向 *, 它 可 以 使 新 的 迭代 点 
更 靠近 于 解 - 

引 理 14.3.2 i (x) ee RR. RS 


S* = {alf(@) = f° = min f(@)} (14.3.7) 


非 空 ， 如 果 Tk g 5%, 则 对 在 何 zx* € S", Gk € Of (ze), 必 存 在 Tk > 
使 得 


i 1 n . 
liz — om Zele les = 2a (14.3.8) 
对 -一切 a e (0, Tk) 都 成 立 ， 
证 明 ”直接 计算 有 
| 1 ali? + 
|era grla T fk 一 tila = ||zk -£ lz 
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14.3.9} 
H F ge GOR (an) Ai ze €S*, 我们 有 
ge (x* =- ax) < fle") Fier) < 0. (14.3.1) 
丁 是 ， 我 们 可 定义 
Ty = 297 (2* — zn)/llgrls > 0, 014.3.11) 


MUA (14.3.9) BUA) (14.3.8) 对 一 切 ee (0, Tk) 都 成 立 . m 
让 由 于 次 梯度 方向 的 这 一 性 质 , 我 们 可 以 取 充 分 小 的 步 长 , 使 
点 列 {zs} 离 解 的 距离 逐步 缩短 直到 已 经 非常 靠近 解 . 下 面 定理 由 
Shor (1962) 给 出 . 
定理 14.3.3 f(z) BOW, BRA 57 非 空 ， 对 和 任何 5> 0， 
必 存 在 7 > 0 使 得 算法 14.3.1 a, Sa € (0,7) 时 有 


liminf f(x) < f* +6. (14.3.12) 


选择 固定 步 长 ax = a 的 缺点 是 算法 所 产生 的 点 列 {zs} 可 能 
Aye. Ermolév(1966) 和 Polyak (1967) 建议 选取 a, 使 其 满 
是 


cr > 0, Jim a, = U, (74.38.13) 
So te = 0. (14.3.14) 
k=l 


定理 14.3.4 设 f(x) BMH, 集合 5* HGA WE a, 
满足 (14.3.13), (14.3.14). 则 算法 14.3.1 产生 的 点 列 {r} 有 


im dister, 5") = 0, (14.3.15} 
其 中 dist(z, S) cy (14.2.10) se &. 
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TEAR f(a) 的 西 性 ， 必 存在 连续 函数 O(c) 使 得 
f(r) < +e (14.3.16) 


对 任何 
dist(z, 5”) < 8)， (14.3.17) 


ffs) > O(we > O} R HEA k, 我 们 定义 
Ek = fleg) - f* > 0. (14.3.18) 
WE sk > 0, 则 有 


lesy = "il? = ler =- 2°}? + of ~ Zarlar ~ 27)? oflo 


= jier — æ" |? + ok — Ziler jar 
Pe aa ge |7 
— 2an [zn = 2° = Sler) | olol 
< Jiz — z* |? + a2 — 2élez ag. (14.3.19) 
WEN 
[dist{(æp+1: S — [dist(x,, SI < -anster 一 ap]， (14.3.20) 


ze SL 6(0) = 0, 则 上 式 对 于 一 切 都 成 立 ， 利 用 (14.3.20), 两 边 求 
和 即 知 i 


lim inf 8(er) = 0. (14.3.21) 
所 以 
lim inf dist(z,,S*} = 0. (14,3.22) 


如 果 定 理 非 真 ， 则 必 存 在 正常 数 4 > 0 HERET ke 
qistfzk+1， S*) > dist (ap, S*), (14.3.23) 
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e, > ft (14.3.2) 

Reo. JA 14.3. 23) AI (143.203 知 
25er} <p (14.35.25) 
RF aap A Me & RSF, (14.3.25) 5 (14.3.24) IS. HS at 

ap Ay FE. a 
TE Ee (14.3.13) (14.3.1) 的 ow FEE ae 

得 是 对 于 这 样 选 到 的 ak, 算法 收 伍 不 可 能 很 快 . 事实 上 ， 我 们 有 
中 一 x” || + æki 一 x*| > len, 一 Teil} = te, (14.3.26) 


TÆ, M (14.3.26) Al (14.3.14) Bag 
er — | = +. {14.3.27) 
R=} 
所 以 ， 点 列 不 可 能 是 R- 线性 收 化. 
为 了 强迫 算法 具有 R- YEW Shor (1968) 建议 取 
Oy = wag", I< g <1. (i4.3.28) 
这 样 选取 的 ar 显然 不 满足 {14.3.14}. APRA EW ao Mg 只 要 
dist(2,,5*) > -一 一 ) (14.3.29) 
则 算法 产生 的 点 列 不 可 能 靠近 S 关于 站 长 方式 (14.3.28) Nae 
EA Raab. 
定理 14.3.5 ik f(x) SP RHR TERK ó > 0, 使 得 
对 一 切 x 都 有 有 : 
(æ =- 2°)" 9 > élolle- |. Yg E afie), (14.3.30) 
Wi Wh FE HERE gE (0,1), & > 0, HBR 
GEL). an > &, (14.3.81) 
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算法 14.3,1 产生 的 点 列 {x"} 就 满足 
lle, — r*a M6, ag lo", (14.3.32) 


其 中 入 三季 Wa BAM llr." Sb, AK, M (6), o) > 
0 BA! nao FAAS k AKIO. 

但 是 ， 选 取出 长 (14.3.28) TEE EP LE ARB i, AAR 
们 在 一 般 情 帝 下 不 可 能 知道 a 和 5 的 信 ， 如 果 ow BBA, M 
(14.331) BHR. Woo 取得 太太 ， 则 算法 收 襄 得 非常 慢 . 

在 知道 产 的 值 的 情形 ， 我 们 可 证 


ar =A FP peaca (14.3.33) 
lige ll 
该 一 步 长 选取 方法 最 初 由 Eremin (1965) Xt FR AR 
min Fir} 三 (Rex {fitr).0} (14.3.34) 


HHJ. Polyak (1969) 将 这 一 方法 推广 到 一 般 非 光 滑 优 化 ， 旦 
证 明了 其 R 线性 收敛 性 ， 信 得 指出 的 是 : 对 于 问题 (14.3.34), 访 
方法 等 价 于 求解 非 线性 不 等 式 组 

file} SO, f= 1,2.--- (14.3.35) 


的 松弛 方法 ， 算 法 143.1 Mh ap 让 (14.3.33) 2 ih E OU RE E 
如 下 ， - 

定理 143.6 if f{z) 是 凸 的， 集合 5* 非 空 ， 如 果 存 在 正常 
数 5 和 6 使 得 


lal <é, Yg € Of(r), {14.3.36) 
fle) — f* > é dist Le. 8") (14.3.37} 


对 … 切 满足 十 dist(#,$*) < dist[z1.5") 的 z 都 成 立 , 则 算法 14.3.1 
在 ax HY (14.3.33 给 出 时 所 产生 的 点 列 必 站 敏 到 5$* 中 的 某 点 
x” 上 且 存在 正常 数 M 使 得 


lag =e" < Mg, (14.3.38) 


- Gis .- 


Ep g = (1 - A(2— AER fe?) n. 

FF Tn Bt ee BB REE oe Ka PAH Shor (1979) 提出 . 该 方法 
的 基本 思想 是 : FES RT, BROAD g AX, WH 
也 依赖 于 gr-1. 它 实质 上 可 看 作为 变 尺度 方法 的 推广 该 方法 被 
称 为 空间 扩充 竺 ， 可 写 为 如 下 形式 : 

算法 14.3.7 

步 1 苔 出 初 值 zl, a >0, 可 sali k:= 1: 

步 2 计算 gr € Of lee); RAK a; > 0; 

Ap 


Lepr = Te — OrAyge/ (gp Hyg) 2: (14.3.39) 
步 3 选取 mr > OM <1; 

4 

` _ a Hegegi Hey. 4 2 ays 

Hga 1 = fk (H; 一 ik i ) (14.3.40) 

k:=k+1 $4 2. 
不 难看 出 ， 由 (14.3.40) 产生 的 矩阵 列 {Hi} 都 是 正定 的 . 

ak Ar, 的 选取 方式 有 不 少 ， 其 中 之 一 为 
1 2 n? 


= rk 一 (14.3.41) 


ce = -一 一 ~ 一 一 一 =. 
i ya = ea 


定理 14.3.8 Hi f(z) 是 是 的 且 集 合 5* 非 空 . 如 果 dist 
(z1, 57) Sa, MHE ag, Je, 由 (14.3.41) 给 出 时 算法 .14.3.7 产生 的 
点 列 {rr} 满足 l 
fe 
m 


lim inf +20, (14.3.42) 


其 中 


2 on nn 
= 站 ) 14.3.43 
9= (1-5 opts (14.3.43) 


次 梯度 方法 的 推广 方式 还 有 其 他 形式 , 例如 有 椭 球 算法 ， 有 限 莽 分 
膛 近 法 等 ， 更 详细 的 讨论 可 见 Zowe (1985). 
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8144 M 平面 法 


解 中 规划 问题 的 制 平面 法 分 别 由 Kelley (1959), Cheney 和 
Goldstein (1959) 独立 提出 的 .这 一 方法 的 基本 思想 是 ， 每 次 选 代 
求 当 数 在 一 凸 多 面体 的 极 小 值 . 每 次 迭代 后 引进 一 制 平面 ， 从 而 还 
DBE, RR RULES A 

AY FR fie), 我 们 有 


f(z) =sup sup [f(y) + 97 (x -yji (14.4.1) 
uo geo fiy} 


所 以 ， 对 fle) 求 极 小 就 等 价 于 问题 
minv, (14.4.2) 


st. v > fy +g le- y) Ve ER", g © OF ly). 
(14.4.3) 


BP ME E E AF HK OR RK BY (14.4.2), (14.4.3). 设 zi(i = 
ly A) ECA RERA. ER KERR NS 


mint, (14.4.4) 


Bt. v > fies) tgi {s -tih i=l, onk. 
(14.4.5) 


很 显然 ， 线 性 规划 {14.4. 人 一 (14.4.5) 是 问题 (14.4.2) 一 (14.4.3) 的 
割 平面 法 可 写 鸭 如 下 形式 . 
算法 14.4.1 , 
步 1 给 出 一 初 什 zl E 5,5 是 一 给 出 的 止 密 面体 k=l; 
步 2 计算 gr € Of (2x). 
步 3 在 3S 上 求解 (14.4.4), 14.4.5) 得 到 veri Alvear: 
Skip kh +i; 转 步 2. 口 
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BARRARE TAR. MILL SRE -A E 
HER S 中 一 个 不 包含 解 的 部 分 割 掉 ， 正 因为 如 此 ， 该 方法 被 称 
为 割 平面 法 割 平 面 法 的 收 令 结果 如 下 . 

定理 14.4.2 证 fe 是 凸 的 且 下 方 有 界 ， 则 由 算法 14.4.1 
产生 的 点 列 [rape fen} 必 满 足 

J} vz Spy ee oy me f”; ` 

2) {es} ERARE f(x) TES EAR AD A. 

HAR fle) sti. AR eae PR. WAARA 
WA, ge = Vf lan) 非常 小 ， 从 而 约 东 条件 (14.4.5) ne 
HR PPE Ha de: 当天 充分 上 大 时 ， 问 题 (14.4.4 
(14.4.5) HIN PRA. ER MERE RR RET- ERN ce 
H BCP RS BE PSR ARIA. 它 欠 未 受到 
fA AY 


§14.5 fl Æ% 法 


HRA (Bundle method) 是 从 共 固 次 梯度 法 发 展 而 得 到 的 一 
类 方法 ， 它 是 下 降 算法 ， 要 求 存 每 次 选 代 都 有 fler) < Flan). 

ARREA h Wolfe EH, E2 k RER AD PRR 
@ 4, C {1,2,:--,k}, AR ah 


= Mg, y € OF (ee) (14.5.1) 


Elk 


给 出 ， 其 中 APG e 五 ) 是 通过 求解 子 问题 


tain i >> ol, (14.5.2) 
ied, 
st. S7 A =1, ASO (14.5.3) 


te Fy, 


所 得 到 的 . 当 fle) BAW HMM Te = {1,2} i, MZE 
精确 线 搜索 下 ， (14.5.1; 14.5.3) HPE IT EE 
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一 样本 工 这 一 点 ,到 用 (14.5.1】 (14.5.3) PE RAE 
Heid EP RAB] Bak or P : l 

算法 14.5.1 

Wl 给 出 初 值 e ER". SE g © Of (e) HIR O < m < 


Be hp (14.5.1) (14.5.3) 计算 de 如 果 [dali <n Us 
和 步 3 计算 yp c= ay — akde, 使 得 


Flan) < flee) — mar lidrilz (14.5.4) 

或 者 
lige — tell Z mas (14.5.5) 

ARE. 


步 4 如果 存在 geri € flue) 使 得 
Tha de > —mildx!lz, (14.5.6) 


iit] Tk+1 5 Yk, 否则 置 Sepi :一 Ek. 
2S 念 到 HT 一 下 口传 +T1AI HPT, 是 所 有 满足 
lt; — reil >e Fi i ES: 
6 kos k+ SEH 2. 
下 面 的 定理 是 Wolfe {1975) 给 出 的 . 

”定理 14.5.3 Hf era ERRES {zlf(z) < 
flzi)} 的 某 一 开 集 上 是 有 界 的 . 设 由 算法 14.5.1 产生 的 点 列 {ox} 
EE fla.) FAR. MAR DAN ARKAR BAIL. 

FARTA RE RRR. 设 在 第 天 ee RT. E 
WARN T 8 > 0, = 1,2,---.k). BRP 


min 


k 
|S ag] | 
| S Aisi) (14.5.7) 
i=l 
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k 
PaP <z, 
i=1 


(14.5.8) 


(14.5.9) 


其 中 5> 0 B-MES EMER. A”? 是 114.5.7) 一 (14.5.8} 的 
解 . 揪 集 法 的 搜索 方向 取 为 


k 
dy 一 一 5 Ag. 
i=l 


(14.5.10) 


(14.5.9) 和 (14.5.2), (14.5.3) 完全 等 价 . 
算法 14.5.3 


步 1 


步 2 


步 3 
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给 出 初 值 ri € R”, 计算 由 € Of (a): 


1 
LO < ma < mi < zi 0< my < le > 0, y > 0, 


k=1, =L 


求解 (14.5.7) 一 (14.5.9) 得 到 AM, 由 (14.5.10) 计算 dy; 


如 果 las < n WIF 
计算 yp = zx 一 ax 由 使 得 (14.5.4) 或 者 


FCn) — orgasride > ftr) e 
HP gn © OF (ue). 
如 果 (44.5.4) 不 成 立 ， 则 转 步 5 


k+1 
Tk+l :一 Yk, t ) = 1， 


tt) = i) + f(ze+1) — flee) — angi de, 
i= 1,2,:-- k, 


"Skis k+1; 转 步 2. 


(14.5.11) 


(14.5.12) 


ies kiro 
步 5 gep i= wp YY = GS 2, k) 


HERO = Fler) — fle) — Onder di, (14.5.13) 


令 开 :一 天 二 Hi 转 步 2. o 
HEH aE Lemarechal iF AA. 
定理 14.5.4 ”在 定理 14.5.2 的 条 件 下 ， 算 法 14.5.3 也 将 经 过 
AIK GEAR IE. 


614.6 复合 非 光 请 优化 的 基本 性 质 


在 本 章 的 最 后 两 节 ， 我 们 讨论 具有 如 下 特殊 形式 : 


min ACF(a}) (14.6.1) 


的 问题 以 及 求解 这 类 问题 的 信赖 域 法 . 在 (14.6.1) 中 ， f(x) = 
(有 (2),…, f(a)? BEAT MM. Af) 是 及 m PBR. 
间 题 [14.6.1) 的 目标 函数 是 复合 函数 , 故 该 问题 被 称 为 复合 非 光 消 
优化 ， 

复合 非 光 滑 和 优化 问题 在 离散 还 近 以 及 数据 拟 合 等 方面 沼 常 可 
以 见 到 下面 的 简单 例子 是 将 一 个 通 近 问题 化 为 一 个 复 人 台 非 光滑 
优化 问题 . 

考虑 线性 方程 组 


Az = b, (14.6.2) 


其 中 AER™*" FER", “mon 时， 方程 (14.6.2) RER., 
所 以 我 们 可 取 r, 使 得 Ax 和 8 之 间 的 误差 尽 可 能 小 ， 也 就 是 说 ; 
我 们 需要 求解 

min || Az 一 bll, (14.6.3) 


KP | R” PH RHR. 不 蕉 看 出 ， (14.6.3) 具有 形式 
(14.6.1). Æ (14.6.3) PREA OYE EIES | + lle, 则 问题 是 经 典 的 
BR) 38 i. 
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复合 非 光 往 优化 问题 趣 来 越 吸 引 人 们 注意 的 另 一 个 原因 芋 : 
一 般 的 光滑 约束 优化 问题 可 通过 L AABAA PR 
FE SEAR OE HL fi AE. 

RPS ASE LA M a de OE Se. AT EP LA 
引用 14.1 WAAR 为 了 叙述 简单 ， 我 们 引入 如 下 记号 : 


ve 可 = A — kf (@) tt4(zJza 


(14.6.4) 

©oa Ë 一 x, d), "14.6.5 

wl) max x(x, } 14.6.5) 

DFiz,d) = sup dT A(z)A, 114.6.6) 
AEBHD)| ,se 


其 中 Bh( 站 ;yytw) BAAR Al) 在 f(z) 点 处 的 次 梯度 ， A4(x) = 
Vi(z}. | 
出 于 AC) EGAR. HRS RRO ME MY, E 
AN HE iE A LAP 5] BE 
引 理 14.6.1 ”对 于 复合 函数 fle) = AL f(2)). 


0 Eafe), (14.6.7) 


等 价 于 
DF(z,d}>0, Yde R”. (14.6.8) 


竹 是 ， 非 光滑 优化 的 稳定 点 即 是 满足 (14.6.8) 的 点 ， 从 ACL) 
的 凸 尾 我 们 还 可 得 到 如 下 结果 . 

引 理 14.6.2 i y(x,d), vez}, DF ix,d) f (14.6-4)--(14.6.6) 
ENX, MWA 

L DE d) 对 一 雪 e Ald BPE; 

2) x(2,d) 看 成 是 d Koh BA EM a. Age d* = 0 ahi d 
HARTAS — DF (2, d); 

3) elr) > 0, Ve > 0: afa = 0 4H (LY e BBE: 

Nate) 2 t OL Be, 
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5) dala) 对 任何 给 定 的 i> 0 ARE e 的 连续 洱 数 . 

Al FA LE BAe, RENE {2} 存在 “个 为 稳定 点 的 聚 点 2* 
等 价 于 

lim inf (er) = 0. 14.6.9) 

由 14.1 节 的 必要 性 定理 知 ， 若 x* Cf le) 的 极 小 点 ， 则 它 
必 是 稳定 点 . 出 于 复 台 非 邯 滑 优 化 具有 特殊 形式 , 我 们 可 将 它 的 必 
要 性 条 件 写 成 下 面 的 等 价 形式 ， l 

定理 14.6.3 mÆ xz* 是 复合 非 光 清 优化 问题 (14.6.1) 的 局 
BEDA MBEE N OKO) res 使 得 


A(2*)A* 一 0， (14.6.10} 


Hh Alr) = Yf. 
证 明 AAA GEAR (14.6.10) 和 


DF(a*,d)>6, Yd ER” (4.6.11) 


等 价 ， 如 果 (14.6.10) 成 立 ， 从 定义 (14.6.6) BAD (14.6.11) pe ir. 
现 假定 (14.6.11) 成 立 。 如果 (14.6.10) Rak, MRS 


S = {Az A]A € Bhl) ray} (14.6.12) 


PUSES. 由 于 ƏM EAE eS Ete. A 
HEPR EA, FAA dc R”, 使 得 


P Afe) <0, VA € BAC} peu) (14.6.13) 


H FƏR Gleg EAR. (14.6.13) BR DE e*.d) > 0 WF. 

i A AH (14.6.11) 与 【14.6.10) 等 价 . m 
尽管 函数 f(x) = hk(f(z)) 可 能 是 非 古 的， 我 们 仍 可 很 到 如 下 

一 阶 充 分 性 条 件 . 

定理 14.6.4 WR 


DF(x",d)>0 (14.6.14) 
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SHES d RY, Wat 必 是 函数 Af (se) 的 局 部 严格 极 小 
ERA HH (14.6.14) HFE 6 > O 使 得 


DF(x*,d) > 6, YIdllz = 1. (14.6.15) 


如 果 定 理 不 真 ， 则 存在 wx >r, ARUP (ae) = ALP la"), AR 
£k = T* rpdk, {lax lia = 1a, > Û, ap 一 OL. 于 是 


hf — AC Fla*)) = AFE") + A(z") "(ae — 2*)) 


— A(f(a#*)) + ofa} 
> op DF (2" dy) + ofan) > akó + olak) 
(14.6.16) 
这 与 AEn) < Alfa") MFE. MEARE 0 


事实 上， 从 (14.6.16) 式 我 们 知 在 (14.6.14) 的 假定 下 ， 必 存在 
6>0,F%>0 使 得 


A(f(z)) — hf let) > Elle- zl (14.6.17) 


对 一 切 jz 一 e'l < E 都 成 立 . 
514.7 fÈ M mR 


对 于 复合 非 光 滑 优 化 问题 (14.6.1), 信赖 域 法 的 子 问题 具有 如 
下 形式 


= 
min A( f(x) + Afe) d) + -dT Brd = 6; (4), 
deR" 2 : (14.7.1) 


s.t. Idli < Ag, (14.7.2) 


这 里 || Æ R pik Re h FR A a a h tE Pa 
相互 等 价 ， 除 特别 声明 外 ， 我 们 假定 ioll RE o e (14.7.0) 中 的 
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Aiz) = VF), By < 及 "xn 是 一 对 称 和 矩阵- Ar > 0 是 一 信赖 域 
半径 . 设 dy 是 子 问题 14.7.1) 一 (44.7.2) 的 解 ， 类似 定理 146.3, 我 
们 可 证 必 存 在 


以 及 fix > 0, 使 得 


An © Öh( ftar) Airp Tdo (14.7.3) 
pa € Oll- ] lay, (14.7.4) 
Alan }Ar + Bade + fete = 0, (14.7.5) 
fe[ Se — jas] = 0. (14.7.6) 


TA E As fa ce Fletcher (1981) 给 出 的 . 


算法 14.7.1 
步 1 By eR”, Ay CR”, A > 0, ¢ 20,8 = 1; 
52 计算 
By = X Oka hV File); (14.7.7) 
i=l 
求解 (14.7.1) (14.7.2), 给 出 dk; 
如 果 del] < ©, WF ; 
步 3 计算 
A(f(ze}) — kU five + de)) 
Tk = - ; 14.7.8 
(0) 一 dy (dy ( ) 
BURR ra < 0.25 WS Ange = |lde ll (4; 
WR rk > 0.75 A ld, || = Ax, WY Aggi = 2Ag:; 
MER Arp ERE, MYA Arpi = Ag. 
步 4 如 果 rx > 0, 则 转 步 Thk+1 t= Tk, Ak = Ani, RE 6; 
HS ther 二 Xk 十 dre; Ax HY (14.7.5) 定义 ; 
步 6 kimk +1, 转 步 2 = 
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让 分 析 算法 14.7.1 的 收 钱 性 时 , 我 们 假定 算法 产生 的 点 中 {re} 
有 界 ， 这 -假定 在 集合 {za(f(z)) < K 有 界 时 显然 成 立 . 
E {en} 的 有 界 性 知 必 在 在 有 界 止 闭 集 2 使 得 


Ep E OQ, ra di E R, Yh =1,2,---. (14.7.9) 


由 于 AC) ee See A RS er ROTEN ee A OE > OO 
使 得 
a(S.) hE) < LA — fall (14.7.10) 


ETABI fis fo E F(Q) = {v = flx),2 € R} 都 成 立 ， 从 Fix) 
连续 可 微 性 各 中 WA ALERT, FREE M > 0 使 得 


Ayi < M (4.7.11) 


对 一 切 ze 中 都 成 立 ， 

定理 14.7.2 设 (zj = 1,…,m) 两 次 连续 可 微 ， 如 果 算 
法 产生 的 点 列 {xx} 有 界 ， 则 {zx} 必 存 在 一 个 豪 点 x+* 是 优化 问题 
(14.6.1) 的 稳定 点 . 

关于 这 一 定理 的 证 明 可 见 Fletcher (1981), Fletcher 还 者 出 : 
OA Bi 不 是 由 (14.7.7) 缩 出 ， 但 只 要 |B -KAA M EA 
WEE BAA RE. l 

我 们 现在 把 |B 一 致 有 上 界 的 条 件 放 宽 到 

k 
Ball < es tee $ Ai (14.7.12) 


i=1 


而 且 ， 将 信赖 域 半 径 的 调节 也 推广 为 一 般 性 的 ， 即 要 求 


[dall < HSminfcrAk Al 如 rp > ca. 
(14.7.13) 


egildg|| < Angi < Ar, ore < eg 
(14.7.14) 
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其 中 ots boc 6) EWE o ce 1 eg > es, oe g l 
A >O E fe ENR. Cieni PR FF. 

E ERAL A Fu. 

引 理 14.7.3 i dy 是 (14.7.1), (14.7.2) 的 解 ， 刘 必 有 有 


ratan], 


1 
AC fCtn)} rldi: > Sta, (Peponi [3 hs, 一 一 
í 2 ‘ Bil AZ 


(14.7.15) 


其 中 gfe) H (14.6.4) (14.6.5) 所 定义 . 
HEAR HH dk FE, FEAT 


A(JR ~ Pride) > hf lard) - erid) (14.7.16) 


对 任何 满足 dji < Ag M a 者 成立， 由 dele) HOKE M, PTE ldel < 
An, 使 得 


War (ee) = RU flay) — AC flee) + Alan)! de). (14.7.17) 


于 是 ， 利 用 AC) 的 凸 性 即 知 
天 一 人 fa > AUF (ee) — Opladg) 
_ loam e 
= y(r adk] 一 go di Bid, 
a J Zip F 42 
2 axlEk de) — so Ba 
p . 1, 2 
2 atba, (TE) 一 3° Bx || Az 
(14.7.18) 
对 一 切 a e 10,1] 均 成 立 ， 从 而 有 


[ 1 
za ~ delde) > max, java, (tx) 一 507|| Ba! laž] 


io. ， 
> $min [Bae (ee), 


5 [viar ee) 


BAD |: 
exilax {14.7.19} 


- G25 - 


即 知 引 理 成 立 . oi 

利用 上 面 的 引 悍 可 将 定理 14.7.2 推广 到 以 下 定理 . 

定理 14.7.4 设 太 (zt 一 1 …,m) 两 次 连续 可 微 , 如 果 算 法 
14.7.1 中 Bi 不 由 (14.7.7) 给 出 但 满足 (14.7.12), 假定 算法 产生 的 
AA {rs} AA W {zr} DEE- TRA ot 是 优化 问题 (146.1) 
的 稳定 点 . 

iE BA On Fire EA we, Fr TR a Be 6 > 0 TER 


uy (ap) > 6, Wk (14.7.20) 


从 引 理 14.6.2 的 多 ， 引 理 14.7.3 、 不 等 式 (14.7.20) 和 As 的 有 界 
性 ， 我 们 可 证 
t i | l 
A(f(ee}) 一 bx (dk) 2 er min |Ar, TET- 


1 
> cr min ER 一 一 


aaa 4.7.21) 
其 中 cy 是 一 正常 数 . 定义 集合 
| = {k|rk > ea}, (14.7.22) 
于 是 有 
Mea)) ~ min A(S (2) 22 h(f (ee) — ACF (@esa))] 
ka 
> SUF eR) ~ A eet) 
kes 


> ca [ALF (ee) — dalda). 
es (14.7.23) 


由 【14.7.23) 、 (14.7.21), (14.7.12) 和 A, < A 可 证 
D Aki {es + 5> A; }<+ (14.7.24) 
kes 
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根据 Asai 的 定义 知 


MERE 
k oOo k 
A slit roa) Ata. (14.7.26) 


从 (14.7.24) 和 (14.7.26) 可 证 SoA: Wee, FRIAR (4.7.26) 即 知 
ies 


SoA, Wot. He B -BER hE 14.7.2 知 (14.7.20) 不 


下 一 了 

可 能 对 一 切 k 都 成 立 . 此 了 矛盾 说 明定 理 为 真 m 
与 无 约束 优化 信赖 域 法 的 收 敏 性 分 析 类 亿 . 我们 可 将 条 件 (14.7.12) 

减弱 至 


| Ball < ca + cok. (14.7.27) 


和 无 约束 优化 不 同 的 是 . 非 光滑 优化 信赖 域 法 ( 即 算法 14.7.1) 
”无 论 By 如 何 选取 也 可 能 出 现 仅仅 线性 收敛. 为 了 克服 这 一 类 似 
于 Marotos 效应 的 现象 ， 必 须 对 算法 进行 收 正 .修正 的 方法 主要 
育 两 种 ， 一 种 是 基于 二 阶 校正 步 ， 另 一 种 是 基于 Watchdog. 关于 
Fletcher 二 阶 校正 步 的 信赖 域 法 的 超 线性 的 证 明 四 Yuan (1985) 给 
出 . 
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